Początki zgromadzenia kolekcji archeologicznej wiążą się z powstaniem w 1880 roku Towarzystwa Historycznego Nadnotecia w Bydgoszczy. Większość pozyskanych zabytków z lat 1880-1919 stanowiły dary, znaleziska przypadkowe, nie posiadające dokumentacji naukowej. Badania archeologiczne w tym okresie często miały charakter amatorski. Prace archeologiczne prowadzili zarówno niemieccy jak i polscy badacze. 

Dział Architektury Przemysłowej jest najmłodszą jednostką merytoryczną Muzeum. Istnieje od stycznia 2009 r., początkowo jako zespół do spraw DAG-Fabrik.

Dział Etnografii Muzeum Okręgowego im. Leona Wyczółkowskiego w Bydgoszczy, utworzony w 1986 roku, gromadzi i opracowuje zbiory kultury materialnej i sztuki ludowej, głównie z regionów etnograficznych Pałuk, Kujaw, Krajny, Borów Tucholskich, Kaszub i Kociewia.

Dział Grafiki posiada w swoich zbiorach około 13 tysięcy eksponatów skupionych w kilku odrębnych kolekcjach i zbiorach obejmujących grafikę polską dawną i współczesną, grafikę obcą, ekslibrisy i grafikę użytkową, zbiór rysunków i monotypii oraz matryce. Początki zbiorów graficznych sięgają czasu powstania Muzeum Miejskiego w 1923 roku. Zbiory graficzne przez długi czas mieściły się w obrębie Działu Sztuki, dopiero w 1982 roku powstał samodzielny dział.

Ten rozbudowany dział Muzeum gromadzi zróżnicowane obiekty - dokumenty i materiały ikonograficzne, ilustrujące dzieje Bydgoszczy, militaria, falerystykę oraz wyroby rzemiosła artystycznego, stanowiące wyodrębnioną kolekcję. Szczególne znaczenie posiada zbiór niezwykle wartościowych zabytków, mających związek z historią i kulturą miasta.

Początki bydgoskiej kolekcji sięgają 1922 roku, Leon Wyczółkowski ofiarował wówczas Muzeum Wielkopolskiemu w Poznaniu bogaty zbiór sztuki wschodniej, zawierający: dywany, makaty, kilimy, wazony, misy, szkła, zabytkowe meble oraz dzieła malarskie i graficzne. Za  ten dar Poznański Wydział Krajowy przekazał artyście dworek w Gościeradzu pod Bydgoszczą.

Dział Muzyczny jest najmłodszym i co się z tym wiąże najkrócej działającym z działów merytorycznych Muzeum Okręgowego im. Leona Wyczółkowskiego. Podstawę jego zbiorów stanowią zabytki fonograficzne pochodzące z Kolekcji Fonograficznej Adama Mańczaka, które od 2005 roku, na drodze zakupu i darów pochodzących od bydgoskiego kolekcjonera, były systematycznie włączane do zbiorów Muzeum. 

Początki kolekcji numizmatycznej sięgają XIX wieku. W 1880 roku z inicjatywy Nadnoteckiego Towarzystwa Historycznego zaczęto gromadzić pamiątki historyczne, w tym monety i medale, z myślą o założeniu w przyszłości muzeum. Powstałe 5 sierpnia 1923 roku Muzeum Miejskie starało się z ówczesnym kustoszem Kazimierzem Boruckim i członkami Towarzystwa Numizmatycznego: Leonem Różdżyńskim i Stanisławem Niewiteckim pozyskiwać numizmaty, zwracając szczególną uwagę na monety bite w mennicy bydgoskiej.

Kolekcje Działu Sztuki obejmują prace z następujących dziedzin: dawne malarstwo polskie, współczesne malarstwo polskie, dawne i współczesne malarstwo obce,  rzeźba, obiekt i instalacja, drobny relief oraz fotografia artystyczna.

Początki gromadzenia książek i czasopism sięgają ostatniego dwudziestolecia XIX wieku. Najcenniejszą pozostałością po księgozbiorze z tamtego okresu jest Jahrbuch der Historischen Gesellschaft für den Netzedistrikt zu Bromberg z lat 1891-1895. Inwentaryzację zbiorów bibliotecznych rozpoczęto w styczniu 1925. W latach 60-tych zaczęto opracowanie zbiorów, zorganizowano katalog alfabetyczny i rzeczowo-systematyczny oraz katalog czasopism. Od 2009 r. tworzony jest również katalog komputerowy.