Okolice Milicza były niegdyś zamieszkiwane przez bandy rabusiów i innych watażków. Tereny Doliny Baryczy były niezwykle atrakcyjne dla takich społeczności, ze względu na swoją trudną dostępność, bagna i tajemnicze knieje. Były to idealne miejsca na kryjówki, a szlak bursztynowy i solny zdawał się wymarzonym miejscem do zasadzek na bogatych kupców. Takie otoczenie zapewniało bandytom bezkarność.

Nikt się nie spodziewał, że jedna napaść może zmienić wszystko. Pewnego dnia rabusie pochwycili polskiego możnowładcę o imieniu Milik. Wystraszony arystokrata przyrzekł bandytom ogromną sumę za uwolnienie go. Mężczyźni postawili jednak warunek – możnowładca nie mógł nikomu powiedzieć co go spotkało i gdzie znajduje się kryjówka rozbójników.

Bandyci strzegli rycerza dzień i noc, ponieważ niebotyczna liczba talarów była cennym łupem. Kiedy pieniądze nadeszły puszczono Milika wolno. Na odchodnym usłyszał tylko zbójecką przestrogę – Milcz! Uwolniony możnowładca postanowił się jednak rozprawić ze zbrodniarzami. Zebrał oddziały i przyszedł nocą pod siedzibę rozbójników, którzy świętowali zdobyty łup.

Pijackie wrzaski ucichły nad ranem i wtedy wkroczył Milik wraz ze swoimi żołnierzami. Bez żadnego problemu udało się wypędzić bandytów z tych stron. W miejscu zbójeckiej kryjówki założono nową osadę, która na pamiątkę przyrzeczonego milczenia otrzymała nazwę Milcz. Jednak później przekształciła się w Milicz.