IP는 인터넷 계층의 PDU인 IP 데이터그램을 전송하는 프로토콜로서 비연결성이며 상태를 갖지 않는다(stateless). IP의 이러한 속성 때문에 각각의 데이터그램은 다른 IP 데이터그램과는 관련이 없는 독립적인 엔티티로 간주된다. 또한 IP는 데이터그램의 전송을 보장하지 않는다. IP 버전 4는 1981년에 RFC 791로 발표되었다. 그 후 인터넷은 급속도로 성장했으며, 이에 따라 IP도 새로운 요구사항을 충족하도록 개정되었다. RFC 초안 1883으로 지정된 IP 버전 6(IPv6)은 현재 기술적으로 안정된 상태에 있으며, IP 보안 메커니즘을 제공하고 있다.

IP 데이터그램의 헤더는 데이터그램이 전송되는 동안에 훼손되었는지 결정할 수 있도록 하는 체크섬(checksum)과 소스 IP 주소(source IP address)를 포함하고 있다. 그러나 이 체크섬은 데이터그램의 의도적인 변경은 방어할 수 없는 단순한 순환중복검사(cyclic redunancy check)에 지나지 않는다. 게다가 수신자는 데이터그램이 어디에서 오는지 알 수 없다. IP 헤더의 소스 주소는 데이터그램이 오는 주소를 나타내지 않는다. 결국 IP는 단대단 데이터 신뢰성이나, 데이터그램의 순서 보장 혹은 보안을 위한 특정한 메커니즘을 갖고 있지 않다. 그러나 RFC 1825로 소개된 IPsec(security architecture for IP)은 IP를 위한 보안 메커니즘을 포함한다. IP 보안 아키텍처는 트래픽 흐름을 방지하기 위한 메커니즘은 포함하지 않는다.

• RFC 1826에서 다루는 IP 인증 헤더(AH, Authentication Header)
• RFC 1827에서 다루는 IP 캡슐화 보안 페이로드(ESP, Encapsulating Security Payload)

IP AH는 IP 데이터그램의 무결성과 출처(authenticity)는 보호하지만 기밀성은 보호하지 않는다. IP AH는 이름에서 알 수 있듯이, 인증 데이터를 데이터그램 내의 헤더에 포함시킨다. 다음 쪽의 [그림 6-6 ]은 IPv6 데이터그램에서의 IP AH의 구문과 그 위치를 보여 준다. 인증 헤더의 각 열은 32비트 단어를 나타낸다.

• 다음 헤더(next header): 인증 헤더 다음의 페이로드 타입을 식별하는 8비트 필드이다.
• 페이로드 길이(payload length): 인증 헤더의 길이를 32비트 단어로 지정하는(빼기 2) 8비트 필드이다. 예로서, 96비트의 인증값인 경우 인증헤더의 실제 길이는 6이지만 페이로드의 길이는 4로 주어진다. 값 2는 IPv6의 널(null) 인증 알고리즘을 나타낸다.
• 예약(reserved): 향후 사용을 위하여 예약된 16비트 필드이다.
• 보안 매개변수 인덱스(SPI, Security Parameter Index): 데이터그램을 위한 보안연합(security association)을 식별하는 32비트 필드이다. 값 0은 보안연합이 존재하지 않는다는 것을 나타낸다.
• 순서번호 필드(sequence number field): 카운터값(counter value)을 포함한다. 이 값은 송신자에 의해 포함되어야 하지만, 수신자의 의도에 따라 처리된다.
• 인증 데이터(authentication data): 인증 데이터, 즉 mac 혹은 디지털 서명 등을 포함하는 32비트 단어의 변수번호(variable number)이다.

데이터그램을 인증하기 위해서 송신자는 우선 무결성 검사 알고리즘, 인증 데이터의 암호화키와 크기 등과 같은 매개변수를 지정하는 보안연합을 위치시켜야 한다. 일반적으로는 사용자 신분, 목적지 주소, SPI 등이 어떠한 보안 연합을 사용할 것인지를 결정한다.

대개의 경우 MAC 알고리즘이 인증을 위하여 사용된다. MD5와 SHA-1을 사용하는 HMAC이 모든 IPsec 구현이 지원해야 하는 디폴트 옵션이다. 그러나 기타의 무결성 검사 기능도 사용할 수 있다. 증 데이터의 계산은 수신자에게 나타나는 데이터그램의 필드를 고려한다. IPv6 헤더의 홉 제한(hope limit) 등과 같은 일부의 필드는 전송 동안에 변경된다. 인증 헤더의 인증 데이터 등과 같은 일부 필드는 사전에 알려지지 않는다. 이와 같은 필드는 MAC을 게산할 때 0(zero)으로 채워진다. 그 후 인증 헤더의 인증 데이터 필드에 MAC이 삽입된다.

데이터그램의 수신자는 관련된 보안연합을 찾고 인증 데이터를 검증하기 위하여 SPI와 목적지 주소(destination address)를 참조한다. 만약 인증에 실패한다면, 실패를 기록하고 데이터그램을 버려야 한다.

이상과 같은 알고리즘에서 일부의 IP 헤더 필드는 보안 메커니즘에 의해 보호되지 않는다. 추가적인 보호를 위해, 터널 모드(tunnel mode)는 기타의 IP 주소(대개의 경우 보안 게이트웨이의 주소)를 포함한 외부(outer) IP 헤더를 추가한다. 내부(inner) IP 헤더는 원래의 출처 및 목적지 주소를 포함하고 있으며, 인증 헤더에 의해 완전히 보호된다.

IP 캡슐화 보안 페이로드(ESP)는 기밀성을 보호한다. 사용하는 암호화 알고리즘에 따라 무결성과 인증도 보호할 수 있다. ESP 헤더는 [ 그림 6-7 ]에서와 같이 일반적으로 암호 데이터 앞에 위치한다. ESP 헤더는 SPI를 포함한다. 불투명 전송 데이터(opaque transform data)는 암호 알고리즘의 처리와 관련된 추가적인 매개변수를 포함하는 보호 필드이다.

송신자는 데이터그램을 함호화하기 이전에 어느 암호 알고리즘과 키를 사용할 것인지를 결정하기 위해 보안연합을 식별한다. 이러한 보안연합은 인증헤더에서 사용되는 보안연합과는 다르다. 그 후 송신자는 두 개의 ESP 모드 중에서 하나를 선택한다.

트랜스포트 모드(transport mode)에서는 TCP 혹은 UDP로부터의 상위 계층 프로토콜 프레임이 ESP 내에서 캡슐화된다. IP 헤더는 암호화되지 않는다. 트랜스포트 모드는 두 개의 노드 간에 교환되는 데이터그램에 대한 단대단 보호를 제공한다.

터널 모드에서는 전체 IP 데이터그램이 ESP 내에서 캡슐화된다. 이러한 ESP는 평문 헤더를 갖는 다른 IP 데이터그램으로 전송된다. 따라서 IP 터널링(IP tunneling)은 IP 내의 IP(IP withinIP) 로 설명된다. 터널 모드는 가상 사설망(VPN, Virtual Private Network)을 형성하기 위해서 게이트웨이 머신(방화벽)간에서 사용될 수 있다.