Choć historia liczącego kilka tysięcy mieszkańców miasta (prawa miejskie Toszek otrzymał około 1235 roku) jest w zasadzie historią zamku, warto zobaczyć i inne miejsca. Jest tu cmentarz żydowski z kilkoma macewami, przez kilka miesięcy działał tu obóz NKWD. W miejscu, gdzie Niemcy od 1940 roku przetrzymywali alianckich oficerów, sowieci zorganizowali po II wojnie światowej obóz pracy przymusowej. Zginęły tutaj ponad trzy tysiące więźniów – pochowano ich na żydowskiej nekropolii oraz w okolicznym wyrobisku piasku. Reżim panujący w toszeckim obozie był wyjątkowo ostry; powszechnie stosowano tortury. Ofiary upamiętnia dziś głaz opatrzony stosownym napisem. Wieczorny spacer ulicami Toszka przenosi nas w zupełnie inną epokę wielokulturowego miasteczka sprzed stu lat.
