Okolice Milicza były kiedyś zamieszkiwane przez rabusiów. Tereny Doliny Baryczy w przeszłości były pokryte bagnami oraz licznymi kniejami, więc świetnie nadawały się na kryjówki. Przez Dolinę Baryczy biegł szlak bursztynowi i solny, dzięki czemu było to idealne miejsce na zasadzki rabusiów na podróżujących handlarzy i bogatych kupców.

Kiedyś na tych terenach rósł gęsty bór, a w nim wielki dąb. Miejscowa ludność uważała, że dąb ma ogromne i tajemnicze moce i właśnie dlatego nazwali drzewo Diabelskim Dębem.

Pewnej nocy, przez bór, niedaleko zamkowych ruin przechodziło trzech rabusiów. Dwóch z nich bało się przechodzić obok dębu i chcieli go ominąć wybierając dłuższą trasę, ale trzeci z nich był odważniejszy. Poszedł na skróty, drogą, na której rósł tajemniczy dąb. Kiedy był już nieopodal drzewa, nagle korona dębu gwałtownie się poruszyła. Rozszalał się ogromny wiatr i porwał wszystko co miał w swoim zasięgu. Trzeci, najodważniejszy rabuś też został pochłonięty przez wichurę i wzbił się wysoko w powietrze. Dwóch pozostałych rabusiów tyko usłyszało krzyk swojego kolegi oraz śmiech diabelskiego dębu. Rabusie już nigdy więcej nie ujrzeli swojego kompana.