Chuyện kể rằng :vào những năm1785 . Để đánh lại quân Tây Sơn, Nguyễn Ánh dự định gửi con cả là Hoàng tử Cảnh đi theo cố đạo Pháp (Bá Đa Lộc) sang Pháp cầu viện. Bà Phi Yến (Lê Thị Răm) là vợ thứ của Nguyễn Ánh đã can ngăn chồng, đừng làm việc “Cõng rắn cắn gà nhà” để người đời chê trách. Nguyễn Ánh không những không nghe lời khuyên của Bà mà còn tức giận, nghi Bà thông đồng với quân Tây Sơn, nên định giết Bà. Nhờ quần thần can xin, Nguyễn Ánh đã tống giam Bà vào một hang đá trên đảo Côn Lôn nhỏ. Khi quân Tây Sơn đánh ra đảo, Nguyễn Ánh bỏ chạy ra biển, Hoàng tử Cải (còn gọi là Hoàng tử Hội An), con Bà Phi Yến lúc đó mới 4 tuổi đòi mẹ đi cùng. Trong cơn tức giận, khi chạy trốn Tây Sơn. Ðến đảo này, Nguyễn Ánh đã hất hoàng tử Cải xuống biển để trừng phạt về tội cãi cha. Cái chết của con trai để lại cho bà Phi Yến, tên tục là Lê Thị Răm, nỗi đau khôn nguôi.
Xác Hoàng tử Cải đã trôi vào bải biển Cỏ Ống. Dân làng đã chôn cất Hoàng tử. Bà Phi Yến, theo truyền thuyết, được một con vượn và một con hổ cứu ra khỏi hang và về sống với dân làng Cỏ Ống để trông nom mộ Hoàng tử Cải.
Vào đêm định mệnh rằm tháng Bảy năm Ất Hợi (1785), ban hương chức làng An Hải cử đại diện qua làng Cỏ Ống rước bà về dự lễ xá tội vong nhân. Buổi lễ kéo dài đến khuya, sau đó bà nghỉ đêm trong tại làng An Hải để ngày hôm sau về Cỏ Ống. Năm ấy bà mới 24 tuổi, dung nhan rất lộng lẫy. Trong làng có tên đồ tể tên là Biện Thi đem lòng tà dục, đã mò vào cấm phòng nắm lấy tay bà. Nghe tiếng bà tri hô, dân làng kéo đến đóng gông tên Biện Thi chờ ngày xử tội. Tủi phận mình, bà đã chặt đứt cánh tay bị xâm phạm rồi quyên sinh để giữ trọn danh tiết. Cải là tên dân dã của một Hoàng tử con của Nguyễn Ánh, Răm là tục danh của bà Phi Yến (Lê Thị Răm), vợ thứ của ông này. Ngày nay ở bên mộ cậu Hoàng Tử Cải mọc lên một cây xanh tốt và rất sai quả . Người dân bảo đấy là quả dâng cho Bà Phi Yến.
“Gió đưa cây cải về trời
Rau răm ở lại chịu lời đắng cay”
Đây là câu ca dao dân gian đặt ra để bày tỏ lòng thương cảm đối với bà Phi Yến, một phụ nữ tài sắc, giàu lòng yêu nước. Hiện nay ở Côn Đảo vẫn còn ngôi miếu An Sơn do dân đảo dựng vào năm 1785 (đến năm 1958 đã được xây dựng lại) để thờ bà Phi Yến.
Câu ca dao trên do tuyền miệng từ lâu tôi đã nghe mẹ tôi hát ru . Khi ra Côn Đảo tôi được thăm nhà thờ Bà Phi Yến và được biết câu ca dao có nguồn gốc từ nơi này. Một người phụ nữ hết lòng yêu nước, thương con và giữ khí tiết.