W latach 1786-88 w południowo-wschodniej części Wyspy Młyń­skiej stanął młyn wodny z sześcioma liniami przemiału mąki (tzw. Młyn Panzera). W 1828 został przebudowany, m.in. dobudowano trzy kolejne linie mączne oraz koła młyńskie. Obecny budynek powstał w 1861 roku jako młyn parowy z ośmioma liniami mielącymi. Nosił nazwę Młynu Camphausa, jednak charakterystyczna kolorystyka ce­glanych elewacji sprawiła, że znany jest dziś jako Czerwony Spichrz. Po 1945 roku przeszedł na własność Skarbu Państwa, do 1974 roku po­zostając w dzierżawie Państwowych Zakładów Zbożowych. W 1979 roku przeszedł w użytkowanie, a w 1997 roku stał się własnością Muzeum Okręgowego im. Leona Wyczółkowskiego w Bydgoszczy. Ze względu na zły stan techniczny prezentowano tu głównie sezonowe wystawy sztuki współczesnej, obecnie mieści się tu Galeria Sztuki Nowoczesnej oraz Dział Sztuki.