据唐代韦皋《嘉州凌云大佛像记》和明代彭汝实《重修凌云寺记》等书记载，乐山大佛开凿的发起人是海通和尚。海通是贵州人，结茅于凌云山中。古代的乐山三江汇流之处，岷江、青衣江、大渡河三江汇聚凌云山麓，水势相当的凶猛，舟辑至此往往被颠覆。每当夏汛，江水直捣山壁，常常造成船毁人亡的悲剧。海通和尚见此立志凭崖开凿弥勒佛大像，欲仰仗无边法力，“易暴浪为安流”，减杀水势，永镇风涛。于是，海通禅师遍行大江南北、江淮两湖一带募化钱财，开凿大佛。佛像动工后，地方官前来索贿营造经费，海通严词拒绝道“自目可剜，佛财难得”，地方官仗势欺人，反而说：“尝试将来”。海通从容“自抉其目，捧盘致之”，“吏因大惊，奔走祈悔”。海通这种专诚忘身之行，激励众心，克诚其志。

佛像于唐玄宗开元初年(公元713年)开始动工，当大佛修到肩部的时候，海通和尚就去世了。海通死后，工程一度中断。大约过了十年的时间，剑南西川节度使 章仇兼琼捐赠俸金，海通的徒弟领着工匠继续修造大佛，由于工程浩大，朝廷下令赐麻盐税款，使工程进展迅速。当乐山大佛修到膝盖的时候，续建者章仇兼琼迁任户部尚书赴任，工程再次停工。四十年后，剑南西川节度使韦皋捐赠俸金继续修建乐山大佛。在经三代工匠的努力之下，至唐德宗贞元十九年(公元803年)，前后历经90年时间才完工。