Zamek w Toszku położony jest na niewielkim wzgórzu. Wzgórze było doskonałym punktem obserwacyjnym i dlatego już w X wieku istniał tu gród obronny. Na wzgórzu zamkowym znaleziono rzymskie monety, więc prawdopodobnie tędy przebiegał bursztynowy szlak dużo wcześniej. Drewniane zabudowania zastąpione zostały murami na przełomie XIV i XV wieku. Niedługo potem zamek został zniszczony przez husytów.
Zamek w Toszku znajdował się w panowaniu książąt śląskich, z których ostatnim był Jan II Dobry. Po jego śmierci zamek przeszedł w posiadanie Habsburgów. Jednym z kolejnych właścicieli był hrabia Casper Colonna z Tyrolu. Odbudował on zrujnowany w tym czasie zamek i przekształcił w cenioną na całym Śląsku rezydencję magnacką.
Zamek spłonął w 1811 roku a z pożarem wiąże się legenda o skarbie. Hrabina Gizela von Geschin uciekała przed pożarem zabierając ze sobą złotą kaczkę i 11 złotych jajek. Niestety nie zdołała ich wynieść i ukryła je w podziemiach. Skarbu do dziś nie odnaleziono. Po pożarze zamek pozostał w ruinie aż do końca II wojny światowej. Po wojnie zabezpieczono ruinę i dokonano częściowej odbudowy.
Obecnie na zamku w Toszku mieści się biblioteka i czytelnia. Turyści mogą zwiedzać teren zamku oraz wejść do budynku. Wnętrza wyglądają niestety ubogo i nie zamkowo. Zamek jest miejscem wydarzeń kulturalnych i dlatego oszpecono go sceną i konstrukcją namiotu przykrywającą scenę. Na dziedzińcu czekają na turystów ławeczki a przed wejściem na zamek znajduje się parking. Drugi parking znajduje się poniżej zamku wzdłuż drogi nr 94.