1951年，港人往返內地需要申領《中華人民共和國出入境通行證》，並於指定口岸出入境，申領過程相當繁複。1956年開始改為在羅湖邊境檢查站，申領一次有效的《港澳同胞回鄉介紹書》，填寫返鄉目的、目的地和逗留時間等資料，出境時由檢查站人員收回。

1979年8月1日起，內地簡化通關手續，《回鄉介紹書》改為三年內多次使用的《港澳同胞回鄉證》。當時不少港人攜帶電器等各類手信物品回鄉探親，故此邊防檢查部門要求需持有回鄉證，才准帶電視機、收音機、錄音機、相機、手錶、電風扇、單車及衣車這八類物品其中一項，每年一次完稅進口。

1981年12月，回鄉證由3年延至10年，並於1988年9月起，加貼電腦條碼方便管理，一次有效的回鄉證，可來往104次使用。浸會大學工商管理學院特邀教授劉佩瓊表示：「回鄉證的出現是一個很重要的里程碑，有了回鄉證之後，基本上已經把我們通關的時間、過程，全部都簡化。」

回歸後，內地於1999年1月推出全新的回鄉卡，取代紙本回鄉證，並增設高科技防偽技術及實行電子化管理，進一步加快通關時間。現在的回鄉證已是2012年起啟用的新版本，即俗稱第二代回鄉證，分5年及10年有效期。