Inntil nylig har det vært få indikasjoner på hvordan huset til Lort-Phillips så ut i Phillishagen. Huset brant ned i 1909 og så langt har vi ikke funnet noen bilder av det. Vi har en beskrivelse i en bok a sportsfiskeren Alfred Erskin Gathorne-Hardy. Huset stod på et platå med utsikt ut over elven. Rundt huset står furuer, flere av de som hadde stått der tidligere var blitt brukt i byggingen av huset. Det var Louisa Lort-Phillips som tegnet huset og det var det første ekteparet Lort-Phillips lot bygge i Sunndal. Han beskriver huset som lite og intimt. Det er peis i førsteetasjen, kjøkken, stue, og ett ”drawing room”. Omkledningsrom og soverommene var i 2 etasjen utstyrt med kraftige snekrede senger. For øvrig sprang taket, som var laget av torv og never, en gang lekk midt på natten flere steder under ett kraftig regnskyll slik at Gathorne-Hardy og frue måtte ligge på en . Fra verandaen skal man kunne se ”The Seven Sisters”, fjelltopper som var synlig i retning ”Musjerd”. De mange trærne rundt huset gjorde det vanskelig å fotografere eller tegne huset. På nesten hver av disse trestammene var det plassert ut fuglekasser siden E. Lort-Phillips var ivrig ornitolog. I trærne sprang det rundt ekorn som også til dels brukte huset som tumleplass.
