W latach 1786-88 w południowo-wschodniej części Wyspy Młyńskiej stanął młyn wodny z sześcioma liniami przemiału mąki (tzw. Młyn Panzera). W 1828 został przebudowany, m.in. dobudowano trzy kolejne linie mączne oraz koła młyńskie.
Obecny zabytkowy budynek powstał w 1861 roku jako młyn parowy z ośmioma liniami mielącymi. Nosił nazwę Młynu Camphausa, jednak charakterystyczna kolorystyka ceglanych elewacji sprawiła, że znany jest dziś jako Czerwony Spichrz. Po 1945 roku przeszedł na własność Skarbu Państwa, do 1974 roku pozostając w dzierżawie Państwowych Zakładów Zbożowych. W 1979 roku przeszedł w użytkowanie, a w 1997 roku stał się własnością Muzeum Okręgowego im. Leona Wyczółkowskiego w Bydgoszczy. Ze względu na zły stan techniczny prezentowano tu głównie sezonowe wystawy sztuki współczesnej, obecnie mieści się tu jedna z atrakcji turystycznych bydgoskiej Wyspy Młyńskiej - Galeria Sztuki Nowoczesnej.
