A minap megint belefutottam abba a tévedésbe, mely szerint a Batthyány tér 4. szám alatt lévő Casanova bár azért lett a híres szívtipróról elnevezve, mert amikor postakocsijával Európát járta, Budapesten is megfordult, és az akkoriban épp itt működő Fehér kereszt fogadóban szállt meg. Egyes vélekedések szerint, amikor a kalandor 1782-ben megszökött az inkvizíció velencei börtönéből – útban a mai Csehország felé –, Budán állt meg, hogy a rabságban szerzett betegségeit, leginkább köszvényét, a budai hévizekkel gyógyítsa.
A ház földszintjén 1965-ben megnyílt bárban a mai napig emléktábla hirdeti, hogy „Korabeli feljegyzések és szájhagyományok szerint a vendégfogadót neves személyek is látogatták, többek közt II. József császár, József nádor, valamint a roccoco kor legendás alakja, Giovanni Jacopo Casanova”. Úgy tűnik, a Casanova-anekdotát már akkor sem vitathatja el senki az épülettől, ha a történészek szerint nemhogy a Batthyány téren, de még Magyarországon sem járt a rokokó kurafi, akit egyébként a tabáni Hadnagy utca is megpróbált kisajátítani: egy másik legenda szerint, amikor mégis Budán járt, akkor a Rác fürdő vendéglősénél, Kosztjics Péternél szállt meg. A lányát, Szávát meg is szöktette, de a fáma szerint nem jutottak messze, mert egy csapat legény már a Gellért-hegy oldalában elkapta Casanovát és szinte agyonverte…
Az egykori Fehér kereszt fogadó illusztris vendégeiről egyébiránt több mendemonda is kering: egy másik szerint itt tartotta titkos szerelmi légyottjait Mária Terézia és Grassalkovits Antal herceg is, akik nem sokáig élvezhették egymást inkognitóban – állítólag, aki itt próbált elbújni a kompromittáló tekintetek elől, szinte azonnal lebukott.
Miután a Tirolból Budára települő Falk család kezéből kikerült az épület, mintha balszerencse üldözné. A 18. században még Buda legkedveltebb találkozóhelye volt. A Fehér kereszt fogadó elől indultak a Bécsbe tartó postakocsik, és itt tartották az első budai színielőadásokat is az 1760-as évek végén. Farsangi időszakban rendszeresen álarcosbálok helyszínéül szolgált, és 1810 és 1812 között még a budai lottóhúzásokat is itt rendezték meg. Miután a szerencse fia Falk Ferenc József 1816-ban meghalt, az épület hagyatéki árverésen, 52 600 forintért, Diestinger József budai ácsmester és neje, Wichstl Erzsébet tulajdonába került, megállíthatatlan balsors-sorozatot vonzva maga után: az 1838-as, majd az 1876-os árvíz idején például – korabeli fényképek tanúsága szerint – az épület udvarán csónakáztak a lakók.
Az elázott házat 1839-ben Jakobsohn Károly ácsmester vásárolta meg erősen felújítandóként, de mire sikerült rendbe hoznia a beázásokat, csődbe is ment, továbbadva az épületet Fischer Jakab bőrgyárosnak, aki szintén nem sokáig élvezhette az ingatlant. 1885-ben elhunyt, egy özvegyet és négy gyermeket hagyva hátra, akik közül Sándor, akit édesanyja egy negyvennyolcas honvéddel neveltetett, neves irodalmár lett: műfordítóként németre fordította Az ember tragédiáját, és megírta Petőfi Sándor életrajzát németül és magyarul. Az állítólag igencsak beszédes Fischer Sándor 1888-ban hunyt el, a rossz nyelvek szerint nyelvrákban, de tragikus véget ért József nevű öccse is, aki belügyminisztériumi tisztviselő volt, és fiatalon öngyilkos lett. A sokak által irigyelt rokokó kúriát ekkor már rendre elátkozott házként emlegették, melyet a 20. században sem tudott lemosni magáról. Az 1910-es években 80, többnyire mindenfajta komfortot nélkülöző, egyszobás lakással volt tele, melyek lakói szörnyűséges körülmények között tengették mindennapjaikat és ugyancsak hasonlóan szörnyűséges körülmények között vetettek véget tengődésüknek. 1910-ben Nánási Zsófia cselédlány megmérgezte magát, 1925-ben Bakos Jánosné napszámos levetette magát az emeletről, 1934-ben pedig Csádi Jenőné varrónő ivott heresóoldatot (rozsdafoltok tisztítására szolgáló sav) öngyilkossági szándékkal. 1935-ben Ábrahám Jenő pincér el akarta hagyni élettársát, Tóth Áronné mosónőt, aki ezt nem bírta elviselni, így amikor a férfi összecsomagolta holmiját, hogy elköltözzön, a nő maró hatású lúgkőoldatot öntött az arcába. És ha mindez nem lett volna elég, 1937-ben Kerepesky János festőművész egy, az elvált feleségével való vitát követően a függőfolyosón, a lakók szeme láttára vágta fel az ereit egy borotvával.