Đạo diễn nổi tiếng của "Địch nhân kiệt" và vợ Thi Nam Sinh làm đám cưới tại Beverly Hills, Mỹ vào năm 1996. Sau 18 năm chung sống, trong khoảng thời gian gần đây tin đồn rạn nứt giữa cặp vợ chồng tài ba này thường xuyên xuất hiện trên mặt báo. Từ Khắc bị cho rằng đã bỏ rơi người vợ già để đến với người tình trẻ Lạc Lạc, người được biết đến là trợ lý của ông. Mặc dù đạo diễn Từ và Lai Lai thường xuyên bị bắt gặp thân thiết ở Đại Lục nhưng chưa một lần nào ông lên tiếng giải thích. Thậm chí cả ông và vợ - bà Thi Nam Sinh cũng không đề cập đến tin đồn ly hôn.

Mới đây vào khoảng giữa tháng 6, báo giới Đài Bắc đã chụp được hình ảnh Từ Khắc và người tình trẻ 30 tuổi đi xem phim. Lần này họ không hề giữ khoảng cách, Lai Lai nhẹ nhàng đưa tay vuốt má người tình trong khi Từ Khắc khoác tay qua vai cô bồ. Theo nhiều nguồn tin Từ Khắc và Lai Lai đã biết nhau từ năm 2011 khi thực hiện bộ phim Tân Long Môn khách sạn. Từ Khắc và vợ thực sự đã không còn chung sống từ năm 2008.