Gdy w 1616 roku w Będzinie wybuchł wielki pożar, spalił się i zamek. Choć odbudowano go dość szybko, po czterdziestu latach znów spłonął – tym razem za sprawą działań zbrojnych w czasie szwedzkiego potopu. Szwedzi zburzyli także część budowli. Dewastowany przez najeźdźców obiekt opasany był już wówczas trzema murami, chroniły go też potężne wały ziemne. Mury będzińskiego zamku widziały wiele historycznych postaci, miały tu miejsce istotne wydarzenia. W 1364 roku przebywał tu cesarz niemiecki Karol IV, w 1574 – Henryk Walezy, w 1683 – Jan II Sobieski, w 1696 – August II Mocny, w 1797 – Stanisław August Poniatowski. W murach tych zawarto pakty będzińsko – bytomskie, na mocy których Maksymilian Habsburg zrzekł się pretensji do polskiego tronu.
