Císařská vila byla od počátku určena jako soukromý byt pro císaře a jeho rodinu, mělo to být místo odpočinku a také se zde nekonali státní návštěvy. Návštěvy byly ubytované ve městě – nejvíce v hotelu Císařovny Alžběty a také v dnes již neexistujícím hotelu Bauer. Ve vile žili jen službu mající dámy, komorníci a služky, protože byla nutná jejich okamžitá přítomnost. Dům císařovny Alžběty byl pouze jednou nabídnut k ubytování a to následnému zeťi císařovny, Franzi Salvatorovy a jeho pobočníkovi. To bylo před jeho sňatkem s Marií v červenci 1890.

V císařské vile nebylo v této době ubytované služebnictvo a nebyla zde ani kuchyně. Ze záznamů správce domu Nikolause Zellnera a jeho syna vyplývá, že císařští rodinní příslušníci měli na obou patrech apartmá a personál byl umístěn v přilehlých místnostech. Zbytek personálu žil v místnostech umístěných v prostorných budovách stájí a správě, které se stavěly dál po řece. Tam byla také kuchyně. Pro zaměstnance pracující v domácnosti, pro zahradníky a lesníky vytvořili vlastní sociální zabezpečení a důchody, v případě nemoci, jak je patrné z archivu, měli vědci na klinice tu nejlepší péči, přičemž náklady na ošetření převzala císařská rodina.

Velké recepce se konaly z důvodu nedostatku prostoru jen velmi vzácně v císařské vile, pro takové příležitosti byl v roce 1875 postavený lázeňský dům, dnešní divadlo a konferenční centrum v Bad Ischlu. V důsledku toho se císařská rezidence rozšířila do města, takže stále správně nese své jméno „Císařské město Ischl“, které je dodnes velmi populární.

Franz Josef říkal, že Ischl je „nebe na zemi“. Ačkoliv nemohl uniknout ze své každodenní práce, konaly se u něho návštěvy na diplomatické úrovni a volný čas mohl věnovat lovu. Byl to jediný luxus, který si sám přiznal, ale je třeba říci dvě věci: že myšlenka ochrany zvířat se od té doby zásadně změnila a že dnešní chápání přírody je jiné. Dnes se díváme se smíšenými pocity na bohaté lovecké trofeje v knížecích hradech. Až do stáří znamenal lov pro Franze Josefa pohyb na čerstvém horském vzduchu, kde zvládl namáhavý výstup v lese i na skály, na rozdíl od doprovodných lovců, kteří byli oblečeni v krátkých sáčkách, vysokých botách a s holými koleny.

Jak také dokazuje obydlí v císařské vile, císař byl nenáročný, asketicky skromný. Spal na vojenské železné posteli a vstával v půl šesté ráno. Po denní lázni následovalo zpracování aktů, které každý den doručoval kurýr. Snídaně s rodinou se konala v salonu, který nabízel výhled do parku nebo na balkon nad vchodem. V neděli v sedm hodin ráno se zbožný císař zúčastnil mše svaté ve farním kostele a většinou tam chodil sám.

Pokud nebyly na programu dne žádné návštěvy, studoval ve své pracovně knihy o barometru (ikdyž byl přesvědčen, že mu jeho revmatismus poskytl podle Förstera Bruckenbergera spolehlivější předpovědi), a když bylo pěkné počasí, často ještě před svítáním vyrážěl na Zimnitz, na Offensee nebo Langbathsee. Většinou lovil kamzíky, kteří žili divoce v Ischilských horách a občas přišli i do císařského parku. Franz Josef se z lovu vracel obvykle v deset hodin ráno. Na jeho posledním lovu 14. července 1914 vůbec nevystřelil.

Podle dopisu Františka Josefa napsal jednomu z jeho loveckých přátel, že mnoho návštěv zahraničních „majestátů“ bylo spíše nepříjemným rušením při jeho loveckém potěšení. Nicméně, byl velmi zdvořilý, takže státní návštěvy bral na lov s sebou. Jednou z trivialit, která prozrazovala jeho pozornost, byly kontejnery na doutníky vyrobené v barvách návštěvníků země.

S technickými vymoženostmi nemohl dělat mnoho. Výjimkou bylo telegrafování. Za účelem zvládnutí telegrafového provozu mezi Ischlem a Vídní byla v Ischlu instalována vlastní telegrafní kancelář. Ruský car daroval císaři elektrický zapalovač doutníků, který stále stojí na stole. Za to král Eduard, britský monarcha, selhal, když se snažil přesvědčit Franze Josefa, že éra automobilů začala v Ischlu.

Po smrti císařovny Alžběty v roce 1898 existovaly v životě stárnoucího panovníka pouze dva světlé okamžiky. Nejdříve to byla jeho vnoučata, zejména děti jeho nejmladší dcery Marie Valerie, kterou velmi miloval. Pro mnohé z nich to byla trvalá vzpomínka, když stála s dědečkem před pilíři císařské vily, nebo si hrála kolem něj – v horní části chaty. Některé stromy, které byly zasazeny na narozeniny dětí, v parku stále stojí.

Dalším světlým bodem bylo přátelství s herečkou hradu Katharinou Schrattovou. V letních měsících si pronajímala Villu Felicitas, která byla mimo město a kam se panovník vydával ráno na snídani. Během této denní exkurze starého gentlemana ho doprovázeli bezpečnostní pracovníci. Pravděpodobně byli také přesvědčeni, že je to zbytečné („Moji Ischlřané mi neublíží!“), ale oni byli placeni za to, aby zabránili všem eventualitám.

Život císařovny Alžběty v Ischlu byl jiný. Začala zde jako šestnáctiletá nevěsta a ne o mnoho později (od roku 1860) ji znovu a znovu přerušovala její častá cesta do zahraničí. Kdyby zůstávala v Ischlu, musela by zde dělat hostesku při státních návštěvách a pobavit ženský doprovod korunovaných hlav a diplomatů v Červeném salonu, zatímco pánové řešili politiku. Samozřejmě zde také měla návštěvy svých příbuzných Wittelsbachů – zejména po sňatku své šestnáctileté dcery Gisely s vévodou Leopoldem v Bavorsku, mladším bratrem posledního bavorského krále. Alžběta si byla vědoma svého brzského manželství a častou měla ponurou náladu. Když jí bylo 36 let, tak se stala babičkou.

V císařské vile si zřídila tělocvičnu (nyní rodinnou ložnici), ale když byl červený salonek prázdný, každodenní cvičení prováděla tam, v pokoji se dvěmi velkými oválnými zrcadly umístěnými na úzkých stranách místnosti. Užívala si zde také svoji vášeň pro jízdu na koni, kterou zdědila po svém otci. Její jezdecká škola byla vedle soukromého bazénu na břehu řeky za vilou. Později, když se vzdala drezury a prodala skoro všechny své koně a ponechala si pouze dva, jezdila na vyjížďky, ale vyhýbala se jízdě na veřejnosti.

Její dlouhé procházky byly hrůzou pro dvorní dámy, zejména proto, že museli pravidelně stoupat po strmých 834 metrech vysokých stráních již před snídaní (a to v dlouhých sukních). Chodila celé dny po horách, zůstávala přes noc v odlehlých horských chatách s několika společníky pod vedením farmáře Stefana Hopfera. Již v polovině padesátých let podnikala dlouhé túry na vysokohorských Tauernech s dcerou Marií Valerií, s vyhlídkami v nadmořské výšce 3000 metrů, což je dnes výzvou pro dobře vybavené alpinisty. Stálým horským průvodcem Alžběty byl Rupert Hacksteiner a jedinou dvorní dámou, která mohla držet krok s císařovnou, byla mladá maďarka Janka Mikes.

Když bylo hezké počasí, dělala Alžběta také ráda gymnastiku na malé mýtině v Jainzenu, kde ji nemohl nikdo vidět. Milovala tuto horu, kterí byla tak blízko u císařské vily. Nazvala ji „magickou horou“ a raději zde zůstávala ve své malé dřevěné chatě, kde si četla a psala, kreslila a malovala. Jedna z jejích básní se jmenuje „Nebeské požehnání pro svou rodinu a dům v údolí“. Později, když byl nápis pod obrazem Panny Marie napsán na dřevěném štítku, nechala ho připevnit k úbočí na chráněném místě na památku svatby Marie Valerie. Připomínala si tím ztrátu svého čtvrtého a posledního dítěte.

Alžbětiny básně, které byly zveřejněny až po 60 letech v roce 1951, často odkazovaly na okolí v Ischlu a často byly v těchto místech také psané. Idylická chalupa ve svém lesním úkrytu byla útočištěm, kde se mohla věnovat svým oblíbeným věcem, kam také často chodila s dětmi. V parku byl od jednoho z pavilonů panoramatický výhled na hory, například na ledovec Dachstein. Mimochodem, romantické zasnoubení Marie Valerie s arcivévodou Franzem Salvatorem se konalo v dolní části těchto zahradních zákoutí.