孔子的弟子子贡曾在朝廷铺佐鲁君。有一次，鲁国大夫叔孙武叔在朝廷上对大夫们说：“子贡比孔子强些。”在场的子贡就打了个比喻说：“人的学问好比宫墙，我的墙只有肩头高，人们一眼就可以看到墙内的一切。我老师的墙有数仞高，如果不得其门而入，是看不到墙内美景的”。
仞是古代的长度单位，周制一仞八尺，汉制一仞七尺。后人觉得“夫子之墙数仞”不足以表达出对孔子的敬仰，于是明胡缵宗题写了“万仞宫墙”镶在仰圣门上。清乾隆皇帝为表示对孔子的尊崇，又换上了自己御笔书写的“万仞宫墙”四个大字。因此，人们也就顺理成章的将“万仞宫墙”看做是孔子思想高深的象征。
【典源】《论语·子张篇》：“子贡曰：‘譬之宫墙，赐之墙也及肩，窥见室家之好。夫子之墙数仞，不得其门而入，不见宗庙之美，百官之富。得其门者或寡矣。’”