相传此处为秦始皇缆船石所在。五代后周显德三年（956），吴越国王在此兴建僧院。北宋宣和六年（1124），僧思净镌石建弥勒佛半身像，上覆穹殿，寺遂名大石佛院，后世俗称大佛寺。后寺院屡建屡毁，现存弥勒院为清同治年间（1862～1874）重建的木结构建筑。寺院东部现存半身石佛残迹、东壁的5尊摩崖造像、明代题刻及清代乾隆皇帝题诗等遗迹。