1897 wurde mit der Eröffnung des Kaiser Wilhelm Museums am Karlsplatz der erste Baustein der Kunstmuseen Krefeld gelegt.
Es entwickelte sich bald als eines der fortschrittlichsten Institute im Bereich Design, angewandte Kunst und Architektur. Plakate, Keramiken, japanische Holzschnitte oder Gebrauchsgegenstände wurden mit dem Ziel präsentiert, stilbildend zu wirken und eine neue Form des „guten Geschmacks“ zu fördern.
Bereits kurze Zeit nach Eröffnung des Kaiser Wilhelm Museums plante man aus Platzgrünen einen Erweiterungsbau, der 1912 mit dem von Hugo Koch entworfenen Süd- und Nordflügel realisiert wurde. 1942 kam es zur kriegsbedingten Schließung des Museums. Den Zweiten Weltkrieg hat das Gebäude, das nun vor allem als Museum für bildende Kunst diente, unbeschadet überstanden. Nach 1945 wurden die Räume zunächst von städtischen Ämtern und Institutionen mitgenutzt.
Im zweiten Obergeschoss liegt das Wandgemälde Lebensalter von Johan Thorn Prikker (1868–1932) mit seiner Darstellung des Kreislaufs des Lebens nach fast vierzig Jahren erstmals wieder frei. Der Künstler hat den Zyklus 1923 in Secco-Technik (auf trockener Kaseinschicht) für den Ort geschaffen.
Unter dem Direktor Paul Wember wurde das Museum 1960 abermals geschlossen, nun aufgrund von projektierten Umbaumaßnahmen, mit denen jedoch erst ab 1966 nach den Plänen des Baudirektors Röhm begonnen wurde. 1968 öffnete das Kaiser Wilhelm Museum wieder seine Türen: Die repräsentative Freitreppe musste allerdings einer neuen Straßenführung vor dem Gebäude weichen, die historische Freitreppe im Innern wurde durch eine leichtere, zeitgenössische Variante ersetzt. Die Statue Kaiser Wilhelm I befindet sich heute im Außenbereich an der Nordseite des Museums.
Von 2012 bis 2016 wurde das Kaiser Wilhelm Museum vom Keller bis zum Dach grundlegend saniert und gemäß internationalen Museumsstandards für Klima und Sicherheit ausgestattet. Der historische Baubestand wurde dabei denkmalgerecht behandelt; je nach dem bestehenden Material und dem baulichen Befund wurde restauriert, rekonstruiert oder neu geschaffen. So treffen nun im Innern des Gebäudes originale Bauelemente aus der Zeit der Jahrhundertwende auf moderne Sequenzen und aktuelle Technik zusammen und schaffen eine erzählerische Atmosphäre, die ganz im Dienste der Präsentation von Kunst steht.