1895 ein Jahr nach dem Carl Schwartz als Bankier in den Ruhestand
getreten war beauftragte er den Architekten Christian Heidecke mit dem Bau der Villa.
Am 16. Februar 1898 anlässlich der Taufe des ersten Enkels Wolfgang wurde das Haus
eingeweiht.
Die geräumige Villa und der schöne Garten dienten der Familie als Sommersitz. Nach
dem Tod von Carl Schwartz wurde das Haus 1915 umgebaut. Im Erdgeschoss wohnte die
Tochter Gabriele Schwartz mit ihrer Haushälterin Auguste Schulz und deren Tochter
Lotte Lehmann. Im ersten Obergeschoss lebte die Tochter Charlotte mit ihrem Mann Stephan
Wiesand. Gabriele Schwartz starb bei einem Bombenangriff in den letzten Kriegswochen 1945.
Nachdem auch Auguste Schulz, die mittlerweile die Mansarde bewohnte, verstorben war,
stand das Haus völlig leer.
Nach Kriegsende war die Wadzeck-Anstalt, ein Waisenheim, kurzzeitig im ersten Stock
untergebracht. Das Haus galt schon damals aufgrund der Verkehrslage als ungeeignet für
ein Waisenheim. 1947 zog es nach Lichterfelde. Die Räume wurden dann von der
"Schloßpark–Gesellschaft" gemietet, die dort ein Lager der Firma Butter–Beck einrichtete.
Das Bezirkswohnungsamt widersprach heftig dieser Zweckentfremdung von Wohnraum.
Erst 1961 wurde das Grundstück von der Erbengemeinschaft der Nachkommen durch das
Land Berlin erworben. Beabsichtigt war zunächst ein Erweiterungsbau des Rathauses.
Spätere Bebauungspläne sahen die Errichtung eines "Hauses der Erwachsenenbildung" (VHS)
oder eines Hallenbades vor. Die "Kulturinitiative Lankwitz " setzte sich seit Anfang 1981
für die Erhaltung und den Ausbau der Villa zum Kulturzentrum ein. Sie veranstaltete im
Juni 1981 ein erstes Straßenfest auf dem Hermann–Ehlers–Platz, mit dem sie für ihre Idee
warb.
1983 wurde das Haus unter Denkmalschutz gestellt. Am 25. Mai 1983 gründete sich der "Trägerverein Kulturhaus Schwartz’sche Villa", der ein erstes Nutzungskonzept entwickelte. In der Folge fiel die Entscheidung für ein Kulturzentrum. 1991 wurde die Bausumme von 10 Mio. DM durch das Abgeordnetenhaus von Berlin bewilligt. Im Februar 1992, genau 97 Jahre nach der Einweihung des Sommersitzes, erlebte das Haus seine zweite Grundstein- legung. 1995 wurde die Schwartzsche Villa als Kulturhaus eröffnet.