普陀山原名梅岑山，因西汉末年梅福在此修道而得名。唐咸通四年（863年），日本高僧慧锷从五台山请得观音神像回国，途经莲花洋遇风涛，以为观音不肯去日本，便留下神像，称不肯去观音。五代梁朝贞明二年（916年）建不肯去观音院。

宋元丰三年（1080年）朝廷赐银，改建为宝陀观音寺，从此香火兴盛。南宋嘉定七年（1214年），钦定为观音道场，并根据佛经补怛洛迦，更山名为普陀洛迦山，亦称补陀洛迦山。明朝时，把莲花洋南的一小岛称洛迦山，就有了普陀山和洛迦山两个山名。

观音在古天竺就称南海观音，相传是因为：一、观音出在古天竺（今印度），而古天竺属南亚，加上观音所在的补怛洛迦山在南海，故称南海观音；二、南海与南无相似。唐代著名文学家王勃的《观音大士赞》曰：“南海海深幽绝处，碧绀嵯峨连水府，号名七宝洛迦山，自在观音于彼住。”王勃卒于676年，就算此《赞》作于676年，亦比不肯去观音到普陀山早187年。可见，不是因为有了南海普陀山才称南海观音的，恰好相反，是因为南海观音，才把普陀山改称为南海普陀山的。