Podczas przełomu XIV i XV wieku zamek, mimo że należał do książąt raciborskich, był również wykorzystywany przez książąt cieszyńskich jako miejsce postojowe podczas podróży do Bytomia, którego połowa wówczas należała do cieszyńskich Piastów. W latach 1428-1435 w okolicy miasta miały miejsce walki prowadzone przez wojska husyckie. Rybnik doznał wówczas wielu zniszczeń, ale mieszkańcy znaleźli schronienie na zamku. Odbudowane miasto zostało niedługo ponownie spalone i splądrowane przez rycerzy-rabusiów. W tym czasie władzę nad Rybnikiem objął książę raciborski Wacław III, zwany Rybnickim, który przekształcił zamek w swoją rezydencję.
