今回は、WAN回線にインターネットに加え、閉域網を使用する構成の注意点を説明します。
この記事の目次
概要
インターネットと閉域網を使用した構成例
SD-WANのWAN回線でMPLS(Multi Protocol Label Switching)やVPLS(Virtual Private LAN Service)などの閉域網を使用する場合があります。
個人的に、SD-WAN機器で閉域網を直収する構成は大きく分けて2種類存在すると思います。
1つ目の構成は、閉域網から直接インターネットに出れる構成です。
要するに、余分にお金を払って、インターネットアクセスの様なオプション付きでISPと契約します。
この構成の場合、Colorのみ注意して設定すれば、特に障害も発生せず、SD-WAN環境を構築できます。
2つ目の構成は、閉域網から直接インターネットに出れない構成です。
この構成の場合、Color以外にも、いくつかパラメータを注意しないと、障害が発生してしまいます。
今回は、直接インターネットに出れない閉域網を使用した構成を基に、設定や状態を確認してきます。
検証環境、内容
検証内容
vEdge1が配置されたサイト1、vEdge2が配置されたサイト2を用意する。
vEdge1とvEdge2はインターネットと閉域網の2個のWAN回線を使用する。
vEdge等のSystem IPとSite IDの設定は以下になります。
vEdgeのWAN回線の設定は以下になります。
物理/論理構成
オーバレイネットワーク構成
初期設定
system
system-ip 10.1.10.11
site-id 10
organization-name "Criterio1 - 19101"
vbond 172.16.10.21
!
vpn 0
interface eth0
ip address 172.16.10.11/24
tunnel-interface
no shutdown
!
ip route 0.0.0.0/0 172.16.10.254
system
host-name vBond
system-ip 10.1.10.21
site-id 10
organization-name "Criterio1 - 19101"
vbond 172.16.10.21 local vbond-only
!
vpn 0
interface ge0/0
ip address 172.16.10.21/24
tunnel-interface
encapsulation ipsec
!
no shutdown
!
ip route 0.0.0.0/0 172.16.10.254
system
host-name vSmart
system-ip 10.1.10.31
site-id 10
organization-name "Criterio1 - 19101"
vbond 172.16.10.21
!
vpn 0
interface eth0
ip address 172.16.10.31/24
tunnel-interface
no shutdown
!
ip route 0.0.0.0/0 172.16.10.254
system
host-name vEdge1
system-ip 1.1.1.1
site-id 1
organization-name "Criterio1 - 19101"
vbond 172.16.10.21
!
vpn 0
interface ge0/0
ip address 172.16.1.1/24
tunnel-interface
encapsulation ipsec
color biz-internet restrict
!
no shutdown
!
interface ge0/1
ip address 172.20.1.1/24
tunnel-interface
encapsulation ipsec
color metro-ethernet restrict
max-control-connections 0
!
no shutdown
!
ip route 0.0.0.0/0 172.16.1.254
!
vpn 10
interface ge0/2
ip address 10.1.1.1/24
no shutdown
system
host-name vEdge2
system-ip 2.2.2.2
site-id 2
organization-name "Criterio1 - 19101"
vbond 172.16.10.21
!
vpn 0
interface ge0/0
ip address 172.16.2.2/24
tunnel-interface
encapsulation ipsec
color biz-internet restrict
!
no shutdown
!
interface ge0/1
ip address 172.20.1.2/24
tunnel-interface
encapsulation ipsec
color metro-ethernet restrict
max-control-connections 0
!
no shutdown
!
ip route 0.0.0.0/0 172.16.2.254
!
vpn 10
interface ge0/2
ip address 20.1.1.2/24
no shutdown
!
policy
app-visibility
interface GigabitEthernet2
ip address 10.1.1.11 255.255.255.0
!
ip route 0.0.0.0 0.0.0.0 10.1.1.1
interface GigabitEthernet2
ip address 20.1.1.12 255.255.255.0
!
ip route 0.0.0.0 0.0.0.0 20.1.1.2
interface GigabitEthernet2
ip address 172.16.1.254 255.255.255.0
!
interface GigabitEthernet3
ip address 172.16.2.254 255.255.255.0
!
interface GigabitEthernet4
ip address 172.16.10.254 255.255.255.0
設定、正常時の動作確認
vEdgeのコントロールコネクションの確認
vEdge1とvEdge2でshow control connectionsコマンドを実行して、vManage/vBond/vSmartとのコントロールコネクションの状態を確認します。
vEdge1
vEdge1# show control connections | tab
LOCAL CFG V
PEER SITE DOMAIN LOCAL PRIVATE PUBLIC PRIVATE CONTROLLER SYSTEM ORG BEHIND
INSTANCE TYPE ID ID PRIVATE IP PORT PUBLIC IP PORT SYSTEM IP PROTOCOL LOCAL COLOR REMOTE COLOR PRIVATE IP PORT STATE UPTIME GROUP ID IP NAME PROXY
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
0 vsmart 10 1 172.16.1.1 12346 172.16.10.31 12346 10.1.10.31 dtls biz-internet default 172.16.10.31 12346 up 1:21:22:41 0 - - No
0 vbond 0 0 172.16.1.1 12346 172.16.10.21 12346 0.0.0.0 dtls biz-internet biz-internet 172.16.10.21 12346 up 1:21:22:42 0 - - -
0 vmanage 10 0 172.16.1.1 12346 172.16.10.11 12346 10.1.10.11 dtls biz-internet default 172.16.10.11 12346 up 1:21:22:41 0 - - No
vEdge2
vEdge2# show control connections | tab
LOCAL CFG V
PEER SITE DOMAIN LOCAL PRIVATE PUBLIC PRIVATE CONTROLLER SYSTEM ORG BEHIND
INSTANCE TYPE ID ID PRIVATE IP PORT PUBLIC IP PORT SYSTEM IP PROTOCOL LOCAL COLOR REMOTE COLOR PRIVATE IP PORT STATE UPTIME GROUP ID IP NAME PROXY
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
0 vsmart 10 1 172.16.2.2 12346 172.16.10.31 12446 10.1.10.31 dtls biz-internet default 172.16.10.31 12446 up 1:21:26:37 0 - - No
0 vbond 0 0 172.16.2.2 12346 172.16.10.21 12346 0.0.0.0 dtls biz-internet biz-internet 172.16.10.21 12346 up 1:21:26:38 0 - - -
0 vmanage 10 0 172.16.2.2 12346 172.16.10.11 12446 10.1.10.11 dtls biz-internet default 172.16.10.11 12446 up 1:21:26:37 0 - - No
GUIではDashboard > Main Dashboardからコントロールコネクションの状態が確認できます。
上記の結果から、vEdge1とvEdge2はインターネット経由でのみvManage/vBond/vSmartとコントロールコネクションを確立していることが確認できます。
閉域網経由では、vEdge1とvEdge2はvManage/vBond/vSmartとコントロールコネクションの確立を試みていません。
これは、閉域網を直収しているWANインタフェースでmax-control-connections 0コマンドを設定しているからです。
max-control-connectionsコマンドは、このWANインタフェース経由で何台のvSmartとコントロールコネクションを確立可能かを指定するコマンドになります。
max-control-connections 0コマンドを設定したWANインタフェースからは、vManage/vBond/vSmartに対してコントロールコネクションは確立しなくなります。
vEdge1
vpn 0
interface ge0/1
tunnel-interface
max-control-connections 0
試しに、vEdge1のge0/1のmax-control-connections 0コマンドを削除してみます。(デフォルト値である2に設定を戻します。)
vEdge1
vpn 0
interface ge0/1
tunnel-interface
no max-control-connections
再度、vEdge1でshow control connectionsコマンドを実行して、vManage/vBond/vSmartとのコントロールコネクションの状態を確認します。
vEdge1は閉域網経由でvBondにコネクションの確立を試みていることが確認できます。
vEdge1
vEdge1# show control connections | tab
LOCAL CFG V
PEER SITE DOMAIN LOCAL PRIVATE PUBLIC PRIVATE CONTROLLER SYSTEM ORG BEHIND
INSTANCE TYPE ID ID PRIVATE IP PORT PUBLIC IP PORT SYSTEM IP PROTOCOL LOCAL COLOR REMOTE COLOR PRIVATE IP PORT STATE UPTIME GROUP ID IP NAME PROXY
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
0 vsmart 10 1 172.16.1.1 12346 172.16.10.31 12346 10.1.10.31 dtls biz-internet default 172.16.10.31 12346 up 1:22:12:05 0 - - No
0 vbond 0 0 172.16.1.1 12346 172.16.10.21 12346 0.0.0.0 dtls biz-internet biz-internet 172.16.10.21 12346 up 1:22:12:06 0 - - -
0 vbond 0 0 172.20.1.1 12406 172.16.10.21 12346 0.0.0.0 dtls metro-ethernet metro-ethernet 172.16.10.21 12346 connect - 0 - - -
0 vmanage 10 0 172.16.1.1 12346 172.16.10.11 12346 10.1.10.11 dtls biz-internet default 172.16.10.11 12346 up 1:22:12:05 0 - - No
しかし、今回、閉域網からインターネットに出ることはできないため、vEdge1は閉域網経由でvManage/vBond/vSmartと通信できません。
では、vEdge1でshow control connections-historyコマンドを実行します。
DCONFAILはDTLS Connection Failの略で、vEdge1はvBondとのDTLSコネクションの確立に失敗していることが確認できます。
vEdge1
vEdge1# show control connections-history | tab
CFG VH
PEER SITE DOMAIN PRIVATE PUBLIC SYSTEM LOCAL REMOTE SYSTEM ORG
INSTANCE INDEX TYPE ID ID PRIVATE IP PORT PUBLIC IP PORT IP PROTOCOL LOCAL COLOR REMOTE COLOR STATE ENUM ENUM DOWNTIME PREV DOWNTIME IP NAME UUID
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
0 0 vbond 0 0 172.16.10.21 12346 172.16.10.21 12346 0.0.0.0 dtls metro-ethernet metro-ethernet connect DCONFAIL NOERR 2020-04-14T20:34:00+0000 2020-04-14T20:33:42+0000 - -
0 1 vbond 0 0 172.16.10.21 12346 172.16.10.21 12346 0.0.0.0 dtls metro-ethernet metro-ethernet connect DCONFAIL NOERR 2020-04-14T20:29:47+0000 2020-04-14T20:29:29+0000 - -
0 2 vbond 0 0 172.16.10.21 12346 172.16.10.21 12346 0.0.0.0 dtls metro-ethernet metro-ethernet connect DCONFAIL NOERR 2020-04-14T20:23:28+0000 2020-04-14T20:23:10+0000 - -
0 3 vbond 0 0 172.16.10.21 12346 172.16.10.21 12346 0.0.0.0 dtls metro-ethernet metro-ethernet connect DCONFAIL NOERR 2020-04-14T20:20:45+0000 2020-04-14T20:20:27+0000 - -
GUIでは、vEdge1のControl StatusがPartialに変化したことが確認できます。
まとめとして、インターネットに出ることができない閉域網と接続しているWANインタフェースにはmax-control-connections 0コマンドを設定して、vManage/vBond/vSmartに対するコントロールコネクションの確立を禁止させる必要があります。
vEdge間のオーバレイネットワークの確認
ここでは、vEdge間のオーバレイネットワークを確認したいと思います。
まずは、vEdge1でshow omp tlocsコマンドを実行し、TLOCを確認します。
vEdge1とvEdge2がインターネット用と閉域網様の2種類のTLOCを生成していることが確認できます。
vEdge1
vEdge1# show omp tlocs
C -> chosen
I -> installed
Red -> redistributed
Rej -> rejected
L -> looped
R -> resolved
S -> stale
Ext -> extranet
Stg -> staged
Inv -> invalid
PUBLIC PRIVATE
ADDRESS PSEUDO PUBLIC PRIVATE PUBLIC IPV6 PRIVATE IPV6 BFD
FAMILY TLOC IP COLOR ENCAP FROM PEER STATUS KEY PUBLIC IP PORT PRIVATE IP PORT IPV6 PORT IPV6 PORT STATUS
--------------------------------------------------------------------------------------------------------------------------------------------------
ipv4 1.1.1.1 metro-ethernet ipsec 0.0.0.0 C,Red,R 1 172.20.1.1 12426 172.20.1.1 12426 :: 0 :: 0 up
1.1.1.1 biz-internet ipsec 0.0.0.0 C,Red,R 1 172.16.1.1 12346 172.16.1.1 12346 :: 0 :: 0 up
2.2.2.2 metro-ethernet ipsec 10.1.10.31 C,I,R 1 172.20.1.2 12346 172.20.1.2 12346 :: 0 :: 0 up
2.2.2.2 biz-internet ipsec 10.1.10.31 C,I,R 1 172.16.2.2 12346 172.16.2.2 12346 :: 0 :: 0 up
次に、vEdge1でshow bfd sessionsコマンドを実行し、オーバレイネットワーク上でのBFDネイバーの状態を確認します。
vEdge1
vEdge1# show bfd sessions | tab
SRC DST SYSTEM SITE DETECT TX
SRC IP DST IP PROTO PORT PORT IP ID LOCAL COLOR COLOR STATE MULTIPLIER INTERVAL UPTIME TRANSITIONS
--------------------------------------------------------------------------------------------------------------------------------------------------
172.16.1.1 172.16.2.2 ipsec 12346 12346 2.2.2.2 2 biz-internet biz-internet up 7 1000 2:01:10:08 0
172.20.1.1 172.20.1.2 ipsec 12426 12346 2.2.2.2 2 metro-ethernet metro-ethernet up 7 1000 0:02:50:35 0
GUIのDashboard > Main DashboardからもBFDネイバーの状態を確認します。
上記の結果から、vEdge1とvEdge2はインターネット用のTLOC間、閉域網様のTLOC間でオーバレイトンネルを確立していることが確認できます。
vEdge1のインターネット用のTLOCとvEdge2の閉域網様のTLOC間ではオーバレイトンネルの確立を試みていません。
これは、各WANインタフェースのcolorコマンドでrestrictオプションを指定しているからです。
restrictオプションを指定することで、同一のColorのTLOC間でのみオーバレイトンネルを確立します。
vEdge1
vpn 0
interface ge0/0
tunnel-interface
color biz-internet restrict
!
interface ge0/1
tunnel-interface
color metro-ethernet restrict
補足として、colorコマンドのrestrictオプションが有効/無効であるかは、OMPで広報されるTLOCの情報に格納されます。
vEdge1
vEdge1# show omp tlocs ip 1.1.1.1 color biz-internet detail
PSEUDO ATTRIBUTE BFD UNKNOWN QOS
KEY TYPE STATUS DOMAIN ID SITE ID PREFERENCE TAG STALE CARRIER GROUPS BORDER ATTRIBUTE LEN WEIGHT GEN ID VERSION ORIGINATOR RESTRICT OVERLAY ID BANDWIDTH GROUP
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1 installed up - 1 0 - - default [ 0 ] - - 1 0x80000007 3 1.1.1.1 1 - 0 default-group
ADVERTISED TO:
peer 10.1.10.31
Attributes:
encap-key not set
encap-proto 0
encap-spi 260
encap-auth sha1-hmac,ah-sha1-hmac
encap-encrypt aes256
public-ip 172.16.1.1
public-port 12346
private-ip 172.16.1.1
private-port 12346
public-ip ::
public-port 0
private-ip ::
private-port 0
domain-id not set
site-id 1
overlay-id not set
preference 0
tag not set
stale not set
weight 1
version 3
gen-id 0x80000007
carrier default
restrict 1
groups [ 0 ]
bandwidth 0
qos-group default-group
border not set
unknown-attr-len not set
試しに、vEdge1とvEdge2のcolorコマンドのrestrictオプションを削除してみます。
vEdge1 , vEdge2
vpn 0
interface ge0/0
tunnel-interface
no color
color biz-internet
!
interface ge0/1
tunnel-interface
no color
color metro-ethernet
再度、vEdge1でshow bfd sessionsコマンドを実行し、オーバレイネットワーク上でのBFDネイバーの状態を確認します。
インターネット用のTLOCと閉域網用のTLOC間でオーバレイトンネルの確立を試みていることが確認できます。
vEdge1
vEdge1# show bfd sessions | tab
SRC DST SYSTEM SITE DETECT TX
SRC IP DST IP PROTO PORT PORT IP ID LOCAL COLOR COLOR STATE MULTIPLIER INTERVAL UPTIME TRANSITIONS
--------------------------------------------------------------------------------------------------------------------------------------------------
172.16.1.1 172.16.2.2 ipsec 12346 12346 2.2.2.2 2 biz-internet biz-internet up 7 1000 2:01:58:03 0
172.16.1.1 172.20.1.2 ipsec 12346 12346 2.2.2.2 2 biz-internet metro-ethernet down 7 1000 NA 0
172.20.1.1 172.16.2.2 ipsec 12426 12346 2.2.2.2 2 metro-ethernet biz-internet down 7 1000 NA 0
172.20.1.1 172.20.1.2 ipsec 12426 12346 2.2.2.2 2 metro-ethernet metro-ethernet up 7 1000 0:03:38:30 0
しかし、今回、閉域網からインターネットに出ることはできないため、インターネット用のTLOCと閉域網用のTLOC間でオーバレイトンネルを確立できず、その結果、BFDネイバーがダウンします。
GUIでは、vEdge1とvEdge2のWAN ConnectivityがPartialに変化したことが確認できます。
colorコマンドのrestrictオプションが無効な場合、OMPで広報されるTLOCのrestrict値には0が格納されます。
vEdge1
vEdge1# show omp tlocs ip 1.1.1.1 color biz-internet detail
PSEUDO ATTRIBUTE BFD UNKNOWN QOS
KEY TYPE STATUS DOMAIN ID SITE ID PREFERENCE TAG STALE CARRIER GROUPS BORDER ATTRIBUTE LEN WEIGHT GEN ID VERSION ORIGINATOR RESTRICT OVERLAY ID BANDWIDTH GROUP
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1 installed up - 1 0 - - default [ 0 ] - - 1 0x80000007 3 1.1.1.1 0 - 0 default-group
ADVERTISED TO:
peer 10.1.10.31
Attributes:
encap-key not set
encap-proto 0
encap-spi 261
encap-auth sha1-hmac,ah-sha1-hmac
encap-encrypt aes256
public-ip 172.16.1.1
public-port 12346
private-ip 172.16.1.1
private-port 12346
public-ip ::
public-port 0
private-ip ::
private-port 0
domain-id not set
site-id 1
overlay-id not set
preference 0
tag not set
stale not set
weight 1
version 3
gen-id 0x80000007
carrier default
restrict 0
groups [ 0 ]
bandwidth 0
qos-group default-group
border not set
unknown-attr-len not set
まとめとして、インターネットと閉域網間で疎通不可な場合は、各WANインタフェースでrestrictオプション付きでcolorコマンドを設定する必要があります。
(補足として、ColorにはPublicとPrivateの2種類があり、微妙に挙動が変化します。しかし、NATが絡まないと説明が難しいので、別の機会で説明したいと思います。)
ルート情報と疎通の確認
vEdge1でshow omp routesコマンドを実行し、OMPで交換されるルート情報を確認します。
vEdge1とvEdge2は、Service VPNの特定のルートに対して、インターネット用のTLOCを関連付けたルート情報と、閉域網用のTLOCを関連付けたルート情報を生成していることが確認できます。
vEdge1
vEdge1# show omp routes
Code:
C -> chosen
I -> installed
Red -> redistributed
Rej -> rejected
L -> looped
R -> resolved
S -> stale
Ext -> extranet
Inv -> invalid
Stg -> staged
U -> TLOC unresolved
PATH ATTRIBUTE
VPN PREFIX FROM PEER ID LABEL STATUS TYPE TLOC IP COLOR ENCAP PREFERENCE
---------------------------------------------------------------------------------------------------------
10 10.1.1.0/24 0.0.0.0 67 1003 C,Red,R installed 1.1.1.1 metro-ethernet ipsec -
0.0.0.0 68 1003 C,Red,R installed 1.1.1.1 biz-internet ipsec -
10 20.1.1.0/24 10.1.10.31 52 1003 C,I,R installed 2.2.2.2 metro-ethernet ipsec -
10.1.10.31 53 1003 C,I,R installed 2.2.2.2 biz-internet ipsec -
show ip route vpn <Service VPNのID>コマンドを実行し、Service VPNのルーティングテーブルを確認します。
サイト2の20.1.1.0/24のネクストホップとして、インターネット上で確立したオーバレイトンネルと閉域網上で確立したオーバレイトンネルが表示されていることが確認できます。
vEdge1
vEdge1# show ip routes vpn 10 | tab
ADDRESS PATH PROTOCOL NEXTHOP NEXTHOP NEXTHOP
VPN FAMILY PREFIX ID PROTOCOL SUB TYPE METRIC IFNAME ADDR TLOC IP COLOR ENCAP VPN STATUS
---------------------------------------------------------------------------------------------------------------------------------
10 ipv4 10.1.1.0/24 0 connected - 0 ge0/2 - - - - - F,S
10 ipv4 20.1.1.0/24 0 omp - 0 - - 2.2.2.2 metro-ethernet ipsec - F,S
10 ipv4 20.1.1.0/24 1 omp - 0 - - 2.2.2.2 biz-internet ipsec - F,S
R1からR2へのPingが成功したため、インターネットと閉域網の両方を使用した構成でも、正しくサイト間で疎通可能なことが確認できます。
R1
R1#ping 20.1.1.12 source 10.1.1.11
Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 20.1.1.12, timeout is 2 seconds:
Packet sent with a source address of 10.1.1.11
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 62/68/71 ms
今回の設定では、ECMPにより、インターネット、閉域網のどちらかのオーバレイトンネル経由で転送されます。(下図とは異なり、閉域網上のオーバレイトンネル経由で転送される場合もあります。)
インターネット回線障害時の動作確認
vEdge1のインターネット向けのWANインタフェース障害
vEdge1のインターネット向けのWANインタフェースであるge0/0をシャットダウンします。
vEdge1
vpn 0
interface ge0/0
shutdown
vEdge1でshow interfaceコマンドを実行すると、ge0/0がダウンしていることが確認できます。
vEdge1
vEdge1# show interface
IF IF IF TCP
AF ADMIN OPER TRACKER ENCAP SPEED MSS RX TX
VPN INTERFACE TYPE IP ADDRESS STATUS STATUS STATUS TYPE PORT TYPE MTU HWADDR MBPS DUPLEX ADJUST UPTIME PACKETS PACKETS
-----------------------------------------------------------------------------------------------------------------------------------------------------------------
0 ge0/0 ipv4 172.16.1.1/24 Down Down NA null transport 1500 00:0c:29:f3:a6:60 - - 1416 - 1648487 1582446
0 ge0/1 ipv4 172.20.1.1/24 Up Up NA null transport 1500 00:0c:29:f3:a6:6a 1000 full 1416 2:20:26:14 497499 497262
0 system ipv4 1.1.1.1/32 Up Up NA null loopback 1500 00:00:00:00:00:00 0 full 1416 2:20:26:23 0 0
10 ge0/2 ipv4 10.1.1.1/24 Up Up NA null service 1500 00:0c:29:f3:a6:74 1000 full 1416 2:20:26:13 28945 8886
512 eth0 ipv4 192.168.1.211/24 Up Up NA null service 1500 00:0c:29:f3:a6:56 0 full 0 2:20:26:14 337249 28709
vEdgeのコントロールコネクションの確認
vManage/vBond/vSmartとのコントロールコネクションの状態を確認するために、vEdge1でshow control connectionsコマンドを実行すると、何も表示されません。
vEdge1
vEdge1# show control connections | tab
では、vEdge1でshow control connections-historyコマンドを実行します。(DISTLOSはDisabled TLOCの略になります。)
vEdge1
vEdge1# show control connections-history | tab
CFG VH
PEER SITE DOMAIN PRIVATE PUBLIC LOCAL REMOTE SYSTEM ORG
INSTANCE INDEX TYPE ID ID PRIVATE IP PORT PUBLIC IP PORT SYSTEM IP PROTOCOL LOCAL COLOR REMOTE COLOR STATE ENUM ENUM DOWNTIME PREV DOWNTIME IP NAME UUID
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
0 0 vmanage 10 0 172.16.10.11 12346 172.16.10.11 12346 10.1.10.11 dtls biz-internet default tear_down DISTLOC NOERR 2020-04-15T18:39:41+0000 N/A - - 80cc811d-4103-48c9-b8c4-98c72d254308
0 1 vsmart 10 1 172.16.10.31 12346 172.16.10.31 12346 10.1.10.31 dtls biz-internet default tear_down DISTLOC NOERR 2020-04-15T18:39:41+0000 N/A - - ddc500b6-69bf-44a3-84f7-9a1c22b663f8
0 2 vbond 0 0 172.16.10.21 12346 172.16.10.21 12346 0.0.0.0 dtls biz-internet biz-internet tear_down DISTLOC NOERR 2020-04-15T18:39:41+0000 N/A - - 5fd14a01-fbef-42b6-becc-dce5b0672699
GUIでは、vEdge1のControl StatusがDownに変化したことが確認できます。
上記から、vEdge1のインターネットと接続しているge0/0がダウンした結果、vEdge1はvManage等と通信できず、DTLSコネクションが確立できていないことが確認できます。
vEdge間のオーバレイネットワークの確認
ここでは、vEdge間のオーバレイネットワークを確認したいと思います。
まずは、vEdge1とvEdge2でshow omp tlocsコマンドを実行し、TLOCを確認します。
vEdge1
vEdge1# show omp tlocs
C -> chosen
I -> installed
Red -> redistributed
Rej -> rejected
L -> looped
R -> resolved
S -> stale
Ext -> extranet
Stg -> staged
Inv -> invalid
PUBLIC PRIVATE
ADDRESS PSEUDO PUBLIC PRIVATE PUBLIC IPV6 PRIVATE IPV6 BFD
FAMILY TLOC IP COLOR ENCAP FROM PEER STATUS KEY PUBLIC IP PORT PRIVATE IP PORT IPV6 PORT IPV6 PORT STATUS
------------------------------------------------------------------------------------------------------------------------------------------------------
ipv4 1.1.1.1 metro-ethernet ipsec 0.0.0.0 C,Red,R 1 172.20.1.1 12426 172.20.1.1 12426 :: 0 :: 0 up
2.2.2.2 metro-ethernet ipsec 10.1.10.31 C,I,R,S 0 172.20.1.2 12346 172.20.1.2 12346 :: 0 :: 0 up
1 172.20.1.2 12346 172.20.1.2 12346 :: 0 :: 0 up
2.2.2.2 biz-internet ipsec 10.1.10.31 C,I,R,S 0 172.16.2.2 12346 172.16.2.2 12346 :: 0 :: 0 down
1 172.16.2.2 12346 172.16.2.2 12346 :: 0 :: 0 down
vEdge2
vEdge2# show omp tlocs
C -> chosen
I -> installed
Red -> redistributed
Rej -> rejected
L -> looped
R -> resolved
S -> stale
Ext -> extranet
Stg -> staged
Inv -> invalid
PUBLIC PRIVATE
ADDRESS PSEUDO PUBLIC PRIVATE PUBLIC IPV6 PRIVATE IPV6 BFD
FAMILY TLOC IP COLOR ENCAP FROM PEER STATUS KEY PUBLIC IP PORT PRIVATE IP PORT IPV6 PORT IPV6 PORT STATUS
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
ipv4 1.1.1.1 metro-ethernet ipsec 10.1.10.31 C,I,R 1 172.20.1.1 12426 172.20.1.1 12426 :: 0 :: 0 up
1.1.1.1 biz-internet ipsec 10.1.10.31 C,I,R 1 172.16.1.1 12346 172.16.1.1 12346 :: 0 :: 0 down
2.2.2.2 metro-ethernet ipsec 0.0.0.0 C,Red,R 1 172.20.1.2 12346 172.20.1.2 12346 :: 0 :: 0 up
2.2.2.2 biz-internet ipsec 0.0.0.0 C,Red,R 1 172.16.2.2 12366 172.16.2.2 12366 :: 0 :: 0 up
ここで、大事なのは以下になります。
- vManage等と疎通不可になったvEdgeは、OMP経由でvSmartから学習していた他のvEdgeが生成したTLOCやService VPNのルート情報を一定時間保持する。
- 他のvEdgeは、vManage等と疎通不可になったvEdgeが生成したTLOCやService VPNのルート情報を一定時間保持する。
よって、vEdge1とvEdge2はお互いの閉域網用のTLOCを認識しているので、閉域網上でオーバレイトンネルを確立できます。
では、vEdge1とvEdge2でshow bfd sessionsコマンドを実行し、オーバレイネットワーク上でのBFDネイバーの状態を確認します。
閉域網用のTLOC間で構成されたオーバレイトンネル上でBFDネイバーが確立されていることが確認できます。
vEdge1
vEdge1# show bfd sessions | tab
SRC DST SYSTEM SITE DETECT TX
SRC IP DST IP PROTO PORT PORT IP ID LOCAL COLOR COLOR STATE MULTIPLIER INTERVAL UPTIME TRANSITIONS
--------------------------------------------------------------------------------------------------------------------------------------------------
172.20.1.1 172.20.1.2 ipsec 12426 12346 2.2.2.2 2 metro-ethernet metro-ethernet up 7 1000 0:22:27:23 0
vEdge2
vEdge2# show bfd sessions | tab
SRC DST SYSTEM SITE DETECT TX
SRC IP DST IP PROTO PORT PORT IP ID LOCAL COLOR COLOR STATE MULTIPLIER INTERVAL UPTIME TRANSITIONS
--------------------------------------------------------------------------------------------------------------------------------------------------
172.16.2.2 172.16.1.1 ipsec 12366 12346 1.1.1.1 1 biz-internet biz-internet down 7 1000 NA 0
172.20.1.2 172.20.1.1 ipsec 12346 12426 1.1.1.1 1 metro-ethernet metro-ethernet up 7 1000 0:22:28:59 0
GUI上では、vManageはvEdge1のBFDネイバーの状態を収集できないため、vEdge1のWAN ConnectivityはNoに変化します。
ルート情報と疎通の確認
vEdge1とvEdge2でshow omp routesコマンドを実行すると、vEdge1はvEdge2が生成したService VPNのルート情報、vEdge2はvEdge1が生成したService VPNのルート情報を保持し続けていることが確認できます。
vEdge1
vEdge1# show omp routes
Code:
C -> chosen
I -> installed
Red -> redistributed
Rej -> rejected
L -> looped
R -> resolved
S -> stale
Ext -> extranet
Inv -> invalid
Stg -> staged
U -> TLOC unresolved
PATH ATTRIBUTE
VPN PREFIX FROM PEER ID LABEL STATUS TYPE TLOC IP COLOR ENCAP PREFERENCE
---------------------------------------------------------------------------------------------------------
10 10.1.1.0/24 0.0.0.0 67 1003 C,Red,R installed 1.1.1.1 metro-ethernet ipsec -
10 20.1.1.0/24 10.1.10.31 52 1003 C,I,R,S installed 2.2.2.2 metro-ethernet ipsec -
10.1.10.31 53 1003 S,Inv,U installed 2.2.2.2 biz-internet ipsec -
vEdge2
vEdge2# show omp routes
Code:
C -> chosen
I -> installed
Red -> redistributed
Rej -> rejected
L -> looped
R -> resolved
S -> stale
Ext -> extranet
Inv -> invalid
Stg -> staged
U -> TLOC unresolved
PATH ATTRIBUTE
VPN PREFIX FROM PEER ID LABEL STATUS TYPE TLOC IP COLOR ENCAP PREFERENCE
---------------------------------------------------------------------------------------------------------
10 10.1.1.0/24 10.1.10.31 76 1003 C,I,R installed 1.1.1.1 metro-ethernet ipsec -
10.1.10.31 77 1003 Inv,U installed 1.1.1.1 biz-internet ipsec -
10 20.1.1.0/24 0.0.0.0 67 1003 C,Red,R installed 2.2.2.2 metro-ethernet ipsec -
0.0.0.0 68 1003 C,Red,R installed 2.2.2.2 biz-internet ipsec -
vEdge1とvEdge2でshow ip route vpn <Service VPNのID>コマンドを実行すると、対向拠点のルート情報がService VPNのルーティングテーブルに投入されていることが確認できます。
ただし、ネクストホップからはインターネットは消え、閉域網上で構成されたオーバレイトンネルのみになっています。
vEdge1
vEdge1# show ip routes vpn 10 | tab
ADDRESS PATH PROTOCOL NEXTHOP NEXTHOP NEXTHOP
VPN FAMILY PREFIX ID PROTOCOL SUB TYPE METRIC IFNAME ADDR TLOC IP COLOR ENCAP VPN STATUS
---------------------------------------------------------------------------------------------------------------------------------
10 ipv4 10.1.1.0/24 0 connected - 0 ge0/2 - - - - - F,S
10 ipv4 20.1.1.0/24 0 omp - 0 - - 2.2.2.2 metro-ethernet ipsec - F,S
vEdge2
vEdge2# show ip routes vpn 10 | tab
ADDRESS PATH PROTOCOL NEXTHOP NEXTHOP NEXTHOP
VPN FAMILY PREFIX ID PROTOCOL SUB TYPE METRIC IFNAME ADDR TLOC IP COLOR ENCAP VPN STATUS
---------------------------------------------------------------------------------------------------------------------------------
10 ipv4 10.1.1.0/24 0 omp - 0 - - 1.1.1.1 metro-ethernet ipsec - F,S
10 ipv4 20.1.1.0/24 0 connected - 0 ge0/2 - - - - - F,S
最後に、R1からR2へのPingが成功したため、vEdge1はvManage等とはコントロールコネクションが確立できてないが、閉域網上で構成したオーバレイトンネル経由で、サイト2と疎通可能なことが確認できます。
R1
R1#ping 20.1.1.12 source 10.1.1.11
Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 20.1.1.12, timeout is 2 seconds:
Packet sent with a source address of 10.1.1.11
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 66/69/70 ms
この様に、Viptelaは障害が発生しても通信を継続できる、柔軟なアーキテクチャを採用していることが分かります。
コメント