王祖賢最知名有2段戀情，一段是與歌手齊秦的才子美女戀，2人分分合合多次，最終還是分開，另一段則是愛上香港已婚富商林建岳，林建岳早在1980年代娶了女星謝玲玲，2人7年內生了5個子女，謝玲玲持家有道，很受公公婆婆疼愛，但林建岳不倫愛上王祖賢，鬧得沸沸揚揚，傳為了她想要與老婆離婚，他媽媽余寶珠力挺媳婦到底，在接受香港媒體訪問時表態說她只認謝玲玲這個媳婦，狠批王祖賢「就當我兒子拿2千萬去叫雞」，認為兒子只是玩玩而已，但後來林建岳與王祖賢分手後，花邊新聞仍不斷，與謝玲玲最終也是離婚收場，謝玲玲傳收到林家給出的約15億台幣天價贍養費。
謝玲玲當年23歲便嫁入豪門，她是台灣人遠嫁香港面臨語言障礙，不懂廣東話、英文也不好，讓她難以融入香港上流社會社交圈，更面臨家中「潛規則」每日必須比婆婆早起，親手奉上敬茶。謝玲玲很聽話每天照做，讓婆婆看在眼裡，後來婆婆主動表示「好了，不用了」，就連她離婚後與前婆婆余寶珠仍互動熱絡，表示與前婆婆一直住得很近，走路5分鐘就到，疫情期間更是每天都會去陪她，用身教來教孩子像懂得孝順，余寶珠百歲壽宴時，她帶著子女一起為前婆婆祝壽。
