建于清代，原位于南高峰北麓一山泉旁，建有亭台楼阁。清《湖山便览》卷八：“在南高峰北麓，由六通寺循仄径而上，灌木丛薄中，奇石林立，不可名状。山阴陶骥疏石得泉，泉从石壁下注，高数丈许，飞珠歕玉，滴崖石作琴筑声，逐于泉址结庐，辅以亭榭，由泉左攀陟至顶为楼，曰‘白云窝’，楼西为台，以供眺览，曰‘流观台’。台下洞壑窈窕，稍得平壤数弓，为堂三楹。清乾隆二十二年（1757），乾隆帝到此游览，题“留馀山居”四字为额。后又题泉旁亭“听泉”，为乾隆御题杭州二十四景之一。《西湖新志》卷二：“有望湖楼、江亭、听泉亭诸胜。”今已不存。现在山居旧址附近重建观景建筑，沿用旧名。