De verzameling van de Backerstichting geldt als een van de best bewaard gebleven familiecollecties in Nederland. De collectie dankt haar rijkdom aan vele generaties Backer, die vanaf de late zestiende eeuw de verzameling schilderijen, zilverwerk, lakwerk, servies, waaiers, kunstnijverheid, penningen, prenten en boeken door de eeuwen heen steeds hebben aangevuld en doorgegeven.
De collectie was tot 1942 opgesteld in het Backer Huis aan de Keizersgracht 567 in Amsterdam. Tijdens de Tweede Wereldoorlog werden de schilderijen van de Keizersgracht overgebracht naar de depots van het Stedelijk Museum. Na de oorlog werd besloten de collectie voor een groot onderdeel onder te brengen bij Museum Willet-Holthuysen. In 1954 is daartoe een officiële bruikleenovereenkomst opgesteld met het Amsterdams Historisch Museum.
Momenteel zijn de meeste collectiestukken ondergebracht bij het Amsterdam Museum, het Cromhout Huis en het Rijksmuseum. Het familiearchief berust bij het Stadsarchief Amsterdam. In 1950 werd het in bruikleen overgebracht naar dit archief.
De collectie is opgebouwd in de loop der eeuwen en vormt daarmee een interessante afspiegeling van hoe een (familie)collectie tot stand kwam en hoe historisch en maatschappelijk gezien de positie van deze Amsterdamse familie in de loop der tijd evolueerde van kooplieden en handelaars tot leden van de vroedschap, regenten, maecenassen van kunst en cultuur en bestuurders. In 1815 werd het geslacht Backer opgenomen in de Nederlandse adelstand.
Eerst was de familie gevestigd in het oudste stukje Amsterdam, zoals bijvoorbeeld burgemeester Willem Backer (1595-1652), maar in de loop van de 17e eeuw vestigde zij zich ook ook aan de Herengracht en de Keizersgracht en vandaaruit verspreidden de Backers zich over Amsterdam en ook enkele andere steden zoals Leiden en later Den Haag.
Interessant is hoe door de generaties heen diverse Backers zich toelegden op het verzamelen van kunst en op het buitenleven, bijvoorbeeld aan de Vecht en in ‘s Graveland. Echte verzamelaars waren bijvoorbeeld Willem Backer (1656-1731) die zich schilderijen, prenten, tekeningen, rariteiten en naturalia verzamelde en diens zoon Cornelis Backer (1693-1775), maar bijvoorbeeld ook Henrick Backer Cornelisz. (1730-1779) en in de latere generaties Johan Ferdinand (1856-1928), die zeer actief was in het Amsterdamse culturele leven. Zo was hij een van de grondleggers van de Vereniging Hendrick de Keyser, het Scheepvaartmuseum en van het Rembrandthuis. Hij wist de Backer collectie met enkele belangrijke stukken uit te breiden door aankoop en verwerving via familieleden. Ook in de 21e eeuw is de Backer collectie nog verscheidene malen uitgebreid, met name door schenkingen.