Năm 1911 một ông Hoàng người Pháp là công tước De Montpensier từ Pháp sang du lịch, săn bắn ở những ngọn đồi lân cận, thấy phong cảnh sơn thủy đẹp ở đây đã kiến ông nảy ra ý định mua đất và xây dựng biệt thự, cũng để có nơi nghỉ ngơi trong các kỳ săn bắn và du lịch sau này. Nguyện vọng của ông đã được nhà cầm quyền Pháp ở Bình Thuận (công sứ Garnier) đồng ý bán quả đồi Bà Nài.

Ngày 21 tháng 2 năm 1911 biệt thự được khởi công xây dựng và gần 1 năm sau đó hoàn chỉnh, với diện tích rộng 536m2 chia thành 13 phòng. Khu biệt thự được xây dựng cách nhóm đền tháp Chăm Pôshanư gần 100m về phía Nam. Trong quá trình vận chuyển vật liệu lên xây dựng khu biệt thự, người Pháp đã làm hỏng tường thành phía trước cửa chính của Tháp. Đây là biệt thự đẹp, đầy đủ tiện nghi, ban đêm có máy phát điện, dưới biệt thự có nhiều hầm ngầm chứa nước mưa đủ cho những người trong biệt thự dùng trong 1 năm, được coi là hiện đại nhất Bình Thuận lúc bấy giờ. Từ đó trở đi nhân dân Phan Thiết quen gọi khu vực này là đồi “Lầu Ông Hoàng” để chỉ ngọn đồi có khu biệt thự to đẹp do công tước De Montpensier xây dựng. Tháng 7 năm 1917 công tước De Montpensier bán lại cho chủ khách sạn người Pháp Prasetts…Sau khi có Lầu Ông Hoàng một người Pháp tên Bell đã xây dựng Hotel Ngọc Lâm ở quả đồi bên cạnh để phục vụ người Pháp. Vài chục năm sau thi sĩ Hàn Mạc Tử đã đến địa danh này và đã để lại nhiều kỷ niệm khiến cho Lầu ông Hoàng càng có ý nghĩa. Trong kháng chiến chống Pháp biệt thự này đã bị tiêu hủy, ngày nay chỉ còn lại toàn bộ nền móng, hầm ngầm chứa nước và những ký ức trong người dân Phan Thiết.

Cũng tại Lầu ông Hoàng quân Pháp xây dựng ở đây một hệ thống đồn bót với nhiều lô cốt bê tông cốt thép chắc chắn để khống chế khu vực thị xã Phan Thiết. Ngày 14 tháng 6 năm 1947, nơi đây đã diễn ra trận đánh tuyệt vời của một tiểu đội thuộc đơn vị Hoàng Hoa Thám do đồng chí Nguyễn Minh Châu chỉ huy diệt nhiều địch, thu nhiều súng đạn các loại, trong đó có một khẩu đại liên Vitke, một súng trung liên Bren và nhiều chiến lợi phẩm khác từ đó nhân dân ta quen gọi là chiến thắng lầu Ông Hoàng. Hiện nay Lầu Ông Hoàng là một quần thể du lịch hấp dẫn bao gồm: nhóm tháp Chàm cổ Po Sah Inư, bên cạnh tháp có chùa Bửu Sơn cổ kính, dưới chân đồi là bờ biển, cửa sông Phú Hài, núi Cố nơi có mộ của nhà thơ Nguyễn Thông…Tất cả hợp thành một quần thể di tích lịch sử văn hoá và danh lam thắng cảnh ở Phan Thiết.