Budowlę przebudowano na styl gotycki w XIV wieku. To wtedy wzniesiono nowy ceglany Dom Biskupów, wyglądający bardzo reprezentatywnie. Mieścił się tam również dziedziniec. Warownia stała się jednak powodem do konfliktu między księciem Bolkiem III Opolskim a biskupem Przecławem z Pogorzeli. Ostatecznie spór został zażegnany, decyzją końcową był nakaz rozebrania murów obronnych wokół zamku i miasta. Zostały one jednak szybko odbudowane i tak zamek wraz z miastem pozostały ufortyfikowane na długie lata.
