唐大和五年(831)。会通习禅,顿悟于其师鸟窠轻吹衲衣上的布毛之公案,在凤林寺东面不远的山林中搭一茅篷小庵,在庵中参禅研学,后人多称其为“布毛侍者”,并移用原先一座废弃佛寺的名额,称他修行的小庵为“招贤寺”。直到五代后晋开运三年(946),这处不过茅篷一间的蕞尔小庵,才由吴越国王钱弘佐改建为具一定规模的佛寺。北宋治平二年(1065),招贤寺由律寺改为禅寺,后来苏东坡为寺里一泓清泉题写过“蒙泉”的题额。南宋宝祐三年(1255)重建了法堂。元末寺毁,而古殿独存。清康熙十五年(1676)僧起纲重建,改称“清隐庵”。
20世纪初,著名文化人、高僧李叔同(即弘一法师)和他的弟子丰子恺等,都曾在招贤寺内小住。
1929年西湖博览会期间,招贤寺的山门改换了门面,辟为“交通部临时电信所”,也称“邮电收发处”。今天,招贤寺的大殿犹存遗构,不过已经成了新新饭店的仓库用房了。