IPSec協議可分別工作在傳輸模式與隧道模式,前者是保護IP報頭之後的上層協議和數據,後者保護包括IP報頭的整個IP報文分組。

1.傳輸模式

傳輸模式保護IP報頭之後的有效載荷,在IP報頭與上層協議報頭間插一個IPSec報頭,其通信終點一定是加密的終點,來保障端到端的通信安全。

該模式下,IP報頭與原始IP分組中的IP報頭相同,只是IP協議字段被改成ESP(50)或AH(51),且再次計算IP報頭的校驗和,IPSec源端點不會修改IP報頭的目的地址。

2.隧道模式

隧道模式保護整個IP數據包,都封裝到新的IP包里,同時在外部IP報頭和內部報頭間插入IPSec頭。當隧道模式被網關用時,可保護與其連接的子網,VPN網絡中用的就是隧道模式。在隧道模式中,通信終點是被保護的內部IP報頭規定的地址,而IPSec終點是由外部IP報頭指定的地址。IPSec處理結束後,VPN網關會剝離外部IP報頭後,再把原始IP包轉發到它最後的目的地。

在隧道模式中,數據包的內部IP頭是由主機創建的,外部IP頭是给予安全服務的IPSec網關添加的。IPSec支持嵌套隧道,嵌套隧道值對已經按隧道模式封裝了的數據包再來一次IPSec隧道處理,從而支持多級網絡安全保護。例如,一家公司有一個安全網關,為防止竟爭者和黑客的侵犯,在該公司網絡內另有一個安全網關,避免某些員工進入敏感子網。此時,若訪問保護網絡內部的子網就得用嵌套式隧道。下圖描繪了AH和ESP聯合嵌套時的使用方式。