Pałac przez setki lat obrósł w ogromną ilość legend, opowieści i historii. Najwięcej z nich powiązana jest pierwszą krzyżacką budowlą i z tym co po niej pozostało. Duże, dwukondygnacyjne, piwnice sięgające 7 metrów pod ziemię wzbudzały ciekawość, ale także i strach. Po wojnie 30-to letniej prowadzonej na tych ziemiach w XVII wieku, służyły Hoverbeck’owi, sprawującemu w okolicy rolę sędziego, najprawdopodobniej za więzienie. Legenda mówi o jeszcze jednej, trzeciej kondygnacji. W lochu, jak nazywana jest najgłębsza piwnicę, znajduje się głęboka studnia z bijącą kryształowo czystą wodą. Kamienny stary bruk przywołuje pamięć o dawnych użytkownikach i skazańcach. To właśnie z tego poziomu (lub jeszcze głębszego) miały wychodzić dwa tunele. Jeden w kierunku zachodnim w stronę dawnego jeziora, drugi w kierunku północnym, łącząc podziemia z później wybudowanym kościołem. Wieść gminna niesie, że tunel sięgał aż do starego grodziska. Wiadomym jest na pewno, że jeszcze w latach 80-tych XX wieku, istniało przejście za ołtarzem do studni na zewnątrz kościoła.. O tunelach wspomina także wielu dawnych mieszkańców. Prawdopodobnie zostały one zasypane jeszcze w latach 40-tych XX wieku. Podczas prac remontowych, odkryty został jeden z tuneli wychodzących z pierwszej kondygnacji piwnic. Spełniał rolę kanalizacji odprowadzającej nieczystości z pałacowej kuchni. Prawdopodobnym jest więc, że istnieją w takim razie i dwa inne, o których mówi legenda.
W rodzinnych kronikach zachowały się zapisy o tragicznych i pięknych miłościach. Pierwszy z nich głosi, iż bardzo dawno temu do pałacu dotarł ranny oficer. Został przyjęty pod gościnny dach, a szczególną opiekę nad nim sprawowała córka właściciela. Na opiekę nad rannym poświęcała cały swój wolny czas zakochując się w nim bez pamięci. Oficer nie odrzucił tego uczucia. W wyniku romansu panna powiła dziecko, a on wyjechał przedkładając nad miłość zgiełk wojenny. Panna z żalu i rozpaczy rzuciła się z pałacowego okna na schody. Od tego czasu widnieje na nich wykute w kamiennym stopniu jej serce .
Z kolei zamurowane od wschodniej strony okno, to finał romantycznej miłości. Młoda niewiasta, mieszkająca w pałacu, obdarzyła swoim uczuciem mężczyznę ze zwaśnionego rodu. Siłą rzeczy nie mógł się on podobać ojcu owej panny. Ten ostatni nie pozwalał, by młodzi ludzie się spotykali, a o ślubie w ogóle nie chciał słuchać. Miłość jednak była tak wielka, że pokonywała wszelkie przeszkody. Nocą, kiedy wszyscy mieszkańcy pałacu spali, dziewczyna wyskoczyła przez okno wprost w ramiona ukochanego. Odjechali w siną dal konno, prowadzeni światłem księżyca. Ojciec, odkrywszy co się stało, wyrzekł się córki, a okno, którym uciekła, kazał zamurować.
Pałac ma też grono własnych duchów i zjaw. Od Krzyżaka chodzącego nocą po schodach na poddasze z psem bez głowy, innego Krzyżaka, którego oblicze można zobaczyć w studni stojącej przy dębie, po czarną damę spacerującą nocą po hall-u wejściowym i wreszcie czarną karocę zaprzężoną w cztery kare konie bez woźnicy na koźle podjeżdżającą nocą na podjazd.