Das Haus, das lange Zeit als Heimatmuseum und Seniorentreffpunkt diente, musste vor dreieinhalb Jahren geräumt werden. Am 21.Mai 2017 wurden alle Exponate des Fischerhaus-Museums ins "Zentralarchiv Hamburger Museen" überführt. Zuvor hatten jährlich über 10000 Besucher an Ausstellungen und Veranstaltungen des Fischerhauses teilgenommen.
Veranstaltungen und Kurse der Altentagesstätte wurden provisorisch in Räumen der Blankeneser Kirche am Markt untergebracht. Doch für Sonderausstellungen zur Geschichte Blankeneses sowie Veranstaltungen wie die Blankeneser Literaturtage müssen regelmäßig neue Veranstaltungsräume organisiert werden.
Einzelne Teile des Fischerhauses existieren seit 1580. Wahrscheinlich ist das Haus noch älter und damit ist es das älteste Wohnhaus Hamburgs.