1897 wurde mit der Eröffnung des Kaiser Wilhelm Museums der erste Baustein der Kunstmuseen Krefeld gelegt. Das Gebäude am Karlsplatz erfüllte die Funktion eines Museums wie auch eines Denkmals für Kaiser Wilhelm I..

Unter der Leitung des ersten Direktors, Friedrich Deneken (1857 – 1927) entwickelte es sich bald zu einem der fortschrittlichsten Museen im Bereich bildender und angewandte Kunst sowie Architektur. Gemälde, Skulpturen, Plakate, Keramiken, japanische Holzschnitte oder auch Gebrauchsgegenstände wurden mit dem Ziel präsentiert, stilbildend zu wirken und eine neue Form des „guten Geschmacks“ zu fördern.

Bereits kurze Zeit nach Eröffnung des Kaiser Wilhelm Museums plante man aus Platzgründen einen Erweiterungsbau, der 1912 mit einem Süd- und Nordflügel realisiert wurde. 1942 kam es zur kriegsbedingten Schließung des Museums. Den Zweiten Weltkrieg hat das Gebäude, das nun vor allem als Museum für bildende Kunst diente, unbeschadet überstanden. Nach 1945 wurden die Räume bis in die 1960er Jahre auch von städtischen Ämtern und Institutionen mitgenutzt.

Im zweiten Obergeschoss befindet sich das Wandgemälde Lebensalter von Johan Thorn Prikker (1868–1932) mit der Darstellung des Kreislaufs des Lebens. Der Künstler hat den Zyklus 1923 in Secco-Technik (auf trockener Kaseinschicht) für den Ort geschaffen.

Unter dem Direktor Paul Wember (1913 – 1987) wurde das Museum von 1960 bis 1968 umfassend modernisiert. Diese erste bauliche Maßnahme in der Zeit der Bundesrepublik Deutschland führte auch zur Demontage vieler Symbole des Kaiser Reiches: Die Ehrenhalle mit der Kaisertreppe wurde entfernt. Die Außentreppe mit ihrer repräsentativen Funktion wurde abgerissen. Der Zugang zum Museum ist seitdem ebenerdig mit dem Platzniveau. Dieser direkte Eingang sollte in den 1960er Jahren in der noch jungen Demokratie ein Zeichen der Offenheit setzen. Die Kaiser Statue wurde aus dem Inneren des Gebäudes entfernt und 1979 im Außenbereich des Museums wieder aufgestellt. Der Name ‚Kaiser Wilhelm Museum‘ blieb erhalten und löst bis heute immer wieder kontroverse Diskussionen aus.

Von 2012 bis 2016 wurde das Kaiser Wilhelm Museum vom Keller bis zum Dach grundlegend saniert und gemäß internationalen Museumsstandards für Klima und Sicherheit ausgestattet. Der historische Baubestand wurde dabei denkmalgerecht behandelt; je nach dem bestehenden Material und dem baulichen Befund wurde restauriert, rekonstruiert oder neu geschaffen. So treffen nun im Innern des Gebäudes originale Bauelemente aus der Zeit der Jahrhundertwende auf moderne Sequenzen und aktuelle Technik zusammen und schaffen eine erzählerische Atmosphäre, die ganz im Dienste der Präsentation von Kunst steht.