辅文侯祠位于忠烈祠月台的西侧,系忠烈祠西庑。坐西朝东,面阔三间,进深三问,为硬山顶木结构建筑。檐下悬挂“辅文侯祠”匾额。祠内正中塑牛皋立像,古铜色,双手持握方锏,俨然注视,系2001年重塑。像后墙壁上配锻铜浮雕壁画,描绘了牛皋投归岳飞、戍守襄阳边境的场景以及牛皋双手挥舞方锏怒杀金兵的战斗场面。
岳庙内专辟辅文侯祠奉祀牛皋,始于清朝康熙三十四年(1695),杭州知府李铎重建忠烈祠两庑后,在西庑内塑牛皋像,与张宪一起配祀岳飞。
牛皋(1087一1147),字伯远,汝州鲁山县人(今河南临汝),为岳飞的著名部将,比岳飞大十六岁。牛皋早年曾当过弓手。金军南侵后,他自发组织家乡人民抗金,在中原沦陷地区与金军周旋,苦战了几年。绍兴三年(1133),襄阳等地相继失守后,牛皋南渡长江,请求接受岳飞节制。十二月,朝廷命牛皋、董先两部一千余人隶属岳飞。次年春,牛皋和董先到杭州,向高宗当面陈述消灭伪齐、收复中原的计策,受到朝廷的奖赏。牛皋任岳飞的中军统制,从此成为岳飞手下的一员勇将。在绍兴四年(1134)的岳家军第一次北伐中,牛皋参加随州、襄阳府等战。特别在随州一战中,张宪、徐庆率军久攻不下,有勇有谋的牛皋主动请战,在三天之内如约收复随州。襄阳等六郡收复后,牛皋任唐、邓、郢州和襄阳府安抚副使,负责戍守。十二月,牛皋和徐庆率军救援淮西,勇战庐州(今安徽合肥),击败敌军。绍兴六年(1136),岳飞升湖北、京西路宣抚副使,牛皋任宣抚司左军统制,参加第二次北伐,破镇汝军,擒伪齐将薛亨。这年冬,牛皋参加对伪齐军的反击,进兵蔡州。绍兴九年(1l 39)宋金和议归还河南后,高宗认为牛皋虽骁勇可用,但嗜酒,不可统众,不同意任命他前往河南戍守。绍兴十年(1140),岳家军最后一次大举北伐,熟悉中原地形的牛皋率部进军京西,势如破竹,直抵黄河沿岸,首先奏响北伐胜利的凯歌。后参加淮宁府之战,又战于开封与颍昌之间,以战功卓著,威振军营,授成德军承宣使。
岳飞被解除兵权后,牛皋改任鄂州驻扎御前左军统制。不久,岳飞被诬陷入狱,宋、金签订第二次绍兴和议,牛皋对此极为气愤,经常发泄心中的不满。岳飞死后五年,绍兴十七年(1147)三月,秦桧密令党羽、鄂州驻扎御前诸军都统制田师中设宴将牛皋毒死。牛皋临终时叹息:“所恨南北通和,不以马革裹尸,顾死牖下耳!”时年六十一岁。
牛皋死后,朝廷追封他为安远军节度使。南宋景定二年(1261),朝廷又追封牛皋为“辅文侯”。
牛皋墓在栖霞岭北紫云洞前剑门关旁。“文化大革命”期间,墓曾遭破坏。现墓系1983年重修,坐西朝东,为圆形圈座式,墓圈用条石围砌,上封土,呈馒头状。墓碑上刻“宋辅文侯牛皋之墓”,其右侧立清光绪元年(1875)秋《重修辅文侯牛公墓记》碑。前有墓道,墓道正中立石牌坊,坊柱上镌明徐渭撰的“将军气节高千古,震世英风伴鄂王”对联,系1983年郭仲选重书。牛皋墓现为杭州市文物保护单位。