後梁時代，即公元九〇〇年左右。日本有一位高僧名叫慧鍔，他乘船來到中國，到五台山請了一尊觀音菩薩像，打算迎回日本去供養。船開到蓮花洋地方，忽然開不動了。這法師就向觀音禱告：「菩薩如果不肯到日本去，隨便菩薩要到哪裡，我和尚就跟到哪裡，終身供養」。禱告完畢，船果然開動了，隨風漂泊，來到普陀島的潮音洞旁邊。此時的普陀全無寺院，有一位居民捐獻了幾間房屋，給和尚供養觀音像，又替這房屋取名「不肯去觀音院」。慧鍔法師就在這觀音院內終老。這個不肯去觀音院是普陀的第一所寺院，是紫竹林的前身。

以上摘自豐子愷的《緣緣堂新筆》，這段故事的來歷有二。一是日本佛書《本朝高僧传》，其中慧鍔傳一篇有詳細記載，原文是：「釋慧萼，不詳其姓其許。稟性堅固，涉遠不倦。承和初，奉橘太后之命，賫幣入唐，達登萊榮界，自雁門上五台。經過略偏，乃屆杭州鹽官靈池寺，謁齊安國師，通橘后之旨，請上首義空禪師而歸，始唱禪法。齊衡初，又入支那，再登五台，於嶺頭得觀音聖像，以大中十二年，奉像駕航，將歸本國，過寧波府故昌(國)縣海濱，船著石上，蕩而不行。舟子思載物重，罄出諸物，船尙如故。及聖像出，即能浮矣。此地往時，高麗日本新羅諸國旅人泊此，取道以候風信。蓋觀音大士欲現靈於此，而惠勝福於眾人也。萼不忍離聖像，遂廬奉侍，漸成寶所，號補陀落迦山寺，為南海禪刹名藍。從此本路往來者，香火默禱，分東西風，隨各人願，此又大士妙用也。是以緇白拜禮，不記幾千百人，唱聖號聲應海潮音，而靈應萬變，不可思議也。」這本傳記寫作的年代是我國清雍正年間。根據這篇文章的敘述，慧鍔來華是日本承和初年，比後梁時代稍早。故事與豐子愷所說差不太多，只缺少張姓居民捐房一節。

二是周應賓的《普陀山志》，這本書的記載更詳細：「梁貞明二年，日本僧慧鍔得觀音像於五台山，將歸日本。舟觸新羅礁，蓮花攩洋，舟蔽不前。鍔禱曰：“使我國眾生無緣見佛，當從所向建立精藍。”有頃，舟向潮音洞泊焉。有居民張氏目睹斯異，遂捨所居，築室供之。號為“不肯去觀音院”。」周應賓是明萬曆時人，所以《普陀山志》比《本朝高僧傳》早了大約一百年。這段記載文字雖少，內容卻多，後世關於不肯去觀音院的傳說應該是來源於此，日本佛書可為佐證。