Theo sử sách ghi chép lại, Hương Phi sinh khoảng năm 1745 trong một gia đình nghèo khổ thuộc tộc Hồi, gia tộc Duy Ngô Nhĩ sống tại vùng Tân Cương, Trung Quốc. Nàng có dung mạo tuyệt thế và trên người tỏa ra một mùi hương rất đặc biệt làm say đắm lòng người. Các sử gia đã miêu tả vẻ đẹp của nàng là mặt ngọc chưa tới gần mà hương thơm đã ngào ngạt. Đó không phải hương thơm của hoa, cũng chẳng phải hương thơm của phấn mà là thứ hương thơm rất kỳ lạ và đặc biệt như muốn thấm vào lòng dạ người xung quanh. Vì vậy nàng còn có tên gọi là Y Phách Nhĩ Hãn (vua của mùi hương). Nhờ sắc đẹp nổi bât, mới 10 tuổi, Hương Phi đã được một lãnh tụ đạo Hồi ở vùng Tân Cương là Đại Hòa Trác đón về làm thiếp. Nhưng cuộc đời nàng đã được "đổi chủ" từ vợ thủ lĩnh người Hồi xứ Tân Cương sang phi tần được vua Càn Long sủng ái.

Chuyện kể rằng khoảng năm 1757, anh em Đại Hòa Trác khởi binh chống lại nhà Thanh, vua Càn Long trực tiếp ra lệnh cho Triệu Huệ dẫn quân bình định phản loạn nên quân Tân Cương vỡ trận thua to. Hương Phi lúc ấy 14 tuổi bị Triệu Huệ bắt làm tù binh rồi đem về dâng vua Càn Long hòng lấy lòng hoàng đế. 

Một truyền thuyết khác lại kể rằng dẫu ở xa vạn dặm nhưng Càn Long đã nghe nói về sắc đẹp và mùi hương đặc biệt tỏa ra từ thân thể nàng Hương Phi nên vua đã sai Triệu Huệ đi đánh dẹp quân phản loạn một phần cũng vì để chiếm được Hương Phi về. Nàng tiến cung như một lễ vật dành cho Càn Long và được hộ tống cẩn thận trên suốt quãng đường đến Bắc Kinh, nàng được tắm rửa hằng ngày trên đường đi bằng sữa lạc đà để không làm mất đi thứ hương thơm bí ẩn trên cơ thể mình.

Ngay lần đầu diện kiến vua, sắc đẹp của Hương Phi đã khiến cho hoàng đế đa tình Càn Long ngất ngây, say đắm. Nhưng lần đầu diện kiến vua ấy, Hương Phi đã nhất định không chịu quỳ và hành lễ theo nghi thức của nhà Thanh. Nàng nước mắt lưng tròng, chẳng nói chẳng rằng vì hoảng loạn và nhớ nhà. Theo luật lệ hà khắc của nhà Thanh, tội khinh quân phạm thượng ấy đủ để tru di tam tộc, nhưng khi ấy, vua Càn Long đã hoàn toàn mê đắm trước vẻ đẹp nghiêng nước khuynh thành của nàng Hương Phi nên đã sai người đưa nàng về nghỉ ngơi và chăm sóc thật chu đáo. Điều khiến ông trăn trở nhất đó là làm thế nào để thuần phục được mỹ nhân khiến ông điêu đứng ngay trước mặt. 

Lúc ấy, một cận thần của nhà vua đã mách nước rằng vì Hương Phi vừa mới bị bắt từ cuộc phản loạn về nên trong lòng chắc hẳn còn đau đớn. Hơn nữa, từ nhỏ nàng đã sống ở Tân Cương nên có thể không hiểu luật lệ, quy tắc trong cung đình. Để lấy lòng được mỹ nhân, hoàng đế nên xây dựng nơi ăn ở theo phong cách người Duy Ngô Nhĩ, rồi dùng vài người Hồi giáo làm người hầu hạ, dần dần nàng sẽ vơi bớt nỗi nhớ quê hương. Vua Càn Long nghe được sáng kiến ấy rất mừng, ngay lập tức ông quyết định sẽ dành thời gian để lấy lòng người đẹp. 

Ngay sau khi phong nàng làm Hương Phi, hoàng đế Càn Long đã rất quan tâm tới thói quen sinh hoạt và tín ngưỡng tôn giáo của nàng. Ông cho xây dựng hẳn một lễ đường Hồi giáo ở hậu cung, bài trí cảnh vật xung quanh theo đúng phong cách của người Hồi giáo. Rồi vua còn cho phép nàng đưa những người hầu cũ đến ở trong cung để nấu ăn, phục vụ nàng, cho nàng ăn mặc trang phục theo kiểu người Hồi. Có lẽ đây là lần đầu tiên trong lịch sử Trung Quốc một phi tần có nguồn gốc từ một bộ tộc khác được sống theo những phong tục của dân tộc mình ngay trong hậu cung xa lạ. Điều đó đủ thấy được vua Càn Long say mê và sủng ái Hương Phi đến mức nào. 

Tuy nhiên, dẫu được vua hết lòng chiều chuộng nhưng Hương Phi vẫn không động lòng. Cả ngày, nàng chỉ thẫn thờ nhìn ngắm cảnh vật xung quanh mà nước mắt vẫn không ngừng tuôn rơi. Những tưởng thời gian sẽ làm Hương Phi dần quên được quê hương Tân Cương nhưng nhìn cảnh vật xung quanh y như nơi nàng sinh sống mà thực ra lại đang ở xứ lạ càng làm cho Hương Phi đau đáu nỗi nhớ quê nhà. Đó chính là một trong những trở ngại khiến mối tình đơn phương của hoàng đế Càn Long vẫn chưa được đáp lại. Không những thế, suốt mấy năm vào cung song Hương Phi vẫn ôm nỗi sầu muộn nhớ quê mà không chịu mở lời với vua, đặc biệt nàng cự tuyệt mọi ý định sủng hạnh của vua Càn Long. 

Thông thường, với một ông hoàng quyền lực như vua Càn Long thì sự sủng hạnh của vua với phi tần được coi là sự ban ơn mà chỉ cần vua muốn, các mỹ nữ sẽ lấy làm may mắn khi được vua để mắt tới. Ấy vậy mà với Hương Phi thì khác. Vì quá say đắm nàng mà vua không nỡ ép nàng sủng hạnh. Nhưng rồi, cũng đến lúc Hoàng đế không kiềm chế được nữa. 

Theo sách Trung Quốc hoàng đế toàn truyện, khi vua Càn Long đưa Hương Phi đi du ngoạn Tô Châu, Hàng Châu để nàng khuây khỏa nỗi nhớ quê, trước khung cảnh nên thơ nơi đây, sẵn có chút men trong người sau buổi tiệc, vua Càn Long đã khao khát chiếm đoạt Hương Phi. Vừa sợ hãi, vừa rối trí, Hương Phi đã rút ra một con dao nhỏ trong tay áo định giết chết Càn Long nhưng không thành. Trước hành động táo bạo của Hương Phi, vua Càn Long rất tức giận và bỏ ra ngoài. Từ đó trở đi, vua không bao giờ dám cưỡng ép người phụ nữ mà ông đã bao năm theo đuổi nữa. 

Chuyện đã đến tai Hoàng Thái hậu khiến bà rất tức giận. Một lần, nhân lúc Càn Long đi tuần thú, Hoàng Thái Hậu đã cho gọi Hương Phi vào cung, buộc nàng phải tự vẫn vì những tội lỗi đã gây ra. Nhiều người cho rằng, thực ra Hoàng Thái hậu cảm thấy tức giận vì hương thơm kì dị trên cơ thể Hương Phi đã khiến vua Càn Long quá mê đắm. Đến mức, kể từ khi nàng nhập cung, có đến 40 phi tần trong cung nhưng gần như chẳng đêm nào vua Càn Long ghé thăm cung của các phi tần. Vì ganh ghét với Hương Phi nên có phi tần đã "rỉ tai" Hoàng Thái hậu rằng thứ hương thơm kì dị trên cơ thể nàng là một thứ yêu khí mà nếu Hoàng đế suốt ngày quấn quýt bên cạnh thì sẽ có ngày bị Hương Phi sát hại. Vì lo sợ cho tính mạng của con trai nên Hoàng Thái Hậu đã muốn ép Hương Phi tự vẫn để trừ hậu họa. 

Về phần Hương Phi, nàng vốn đã chẳng thiết tha gì cuộc sống cảnh chim lồng cá chậu trong nhung lụa xa hoa giữa xứ lạ, từng tính đến chuyện tự vẫn nhưng chưa dám. Nay Hoàng Thái Hậu ra lệnh như vậy, nàng cũng chẳng cầu xin một lời, xin về chỗ ở rồi treo cổ tự vẫn. Trước khi ra đi, nàng chỉ để lại một lời nhắn với vua Càn Long là mong muốn được chôn cất ở Tân Cương quê nàng. 

Sau khi đi tuần thú trở về, chứng kiến cái chết của Hương Phi, vua Càn Long đã khóc rất nhiều và chìm trong nỗi thương tiếc suốt một thời gian dài. Hoàng đế còn sai một họa sĩ giỏi nhất trong cung vẽ một bức hình Hương Phi để nguôi ngoai nỗi nhớ nhung dành cho mỹ nhân mà ông chưa một lần được gần gũi. Ông cũng đáp ứng tâm nguyện của nàng, đưa về mai táng ở quê cũ. Ngày nay, những người Duy Ngô Nhĩ ở Tân Cương vẫn còn lưu giữ ngôi mộ Hương Phi để tưởng nhớ một người con gái kỳ lạ cả về sắc đẹp lẫn tấm lòng mà nàng dành cho vùng đất Tân Cương.