今回は、WAN回線としてLTEを使用する環境で役に立つLast Resort Circuitと呼ばれる機能について説明します。
この記事の目次
概要
Last Resort Circuit
現在、vEdgeには、LTE用のモジュールを内蔵したvEdge 100mなどが存在し、WAN回線としてLTEを使用することも可能です。
ただし、LTEは大容量のデータを常時通信する目的で提供されている回線サービスではないため、通信量が一定の閾値を超えると回線速度が大きく制限される契約も多々あります。
よって、WAN回線としてLTEも使用する構成では、一般的に、通常はインターネットや閉域網を経由で通信します。
そして、インターネットや閉域網の回線で障害は発生した場合に、最終手段として、LTE経由で通信したりします。
ただし、ここで注意が必要です。
ユーザの通信が発生してない場合でも、オーバレイトンネル上では死活監視のためのBFDの通信が常時発生します。また、vSmartなどとのコントロールプレーンの通信も常時発生します。
この結果、気が付かないうちに、LTE回線のトラフィック量が増加してしまい、回線速度が大きく制限されてしまう危険性もあります。
ここで役に立つ機能がLast Resort Circuitと呼ばれる機能になります。
正常時は、Last Resort Circuitが有効なWAN回線はコントロールプレーンの通信やオバーレイトンネルの確立はしません。つまり、TLOCとしての機能がダウンします。
そして、他の全てのWAN回線がダウンした場合のみ、Last Resort Circuitが有効なWAN回線はTLOCとしての機能がアップし、コントロールプレーンの通信やオーバレイトンネルの確立を開始します。
検証環境、内容
検証内容
vEdge2のge0/1をインターネット回線、ge0/1をLTE回線として使用する。
vEdge2のLTE回線をLast Resort Circuitとして設定する。
正常時は、vEdge2はge0/0経由で、コントロールプレーンの通信や、オーバレイトンネルを確立していることを確認する。
vEdge2のge0/0の障害時は、vEdge2はge0/1経由で、コントロールプレーンの通信や、オーバレイトンネルを確立していることを確認する。
物理/論理構成
オーバレイネットワーク構成
初期設定
system
system-ip 10.1.10.11
site-id 10
organization-name "Criterio1 - 19101"
vbond 172.16.10.21
!
vpn 0
interface eth0
ip address 172.16.10.11/24
tunnel-interface
no shutdown
!
ip route 0.0.0.0/0 172.16.10.254
system
host-name vBond
system-ip 10.1.10.21
site-id 10
organization-name "Criterio1 - 19101"
vbond 172.16.10.21 local vbond-only
!
vpn 0
interface ge0/0
ip address 172.16.10.21/24
tunnel-interface
encapsulation ipsec
!
no shutdown
!
ip route 0.0.0.0/0 172.16.10.254
system
host-name vSmart
system-ip 10.1.10.31
site-id 10
organization-name "Criterio1 - 19101"
vbond 172.16.10.21
!
vpn 0
interface eth0
ip address 172.16.10.31/24
tunnel-interface
no shutdown
!
ip route 0.0.0.0/0 172.16.10.254
system
host-name vEdge1
system-ip 1.1.1.1
site-id 1
organization-name "Criterio1 - 19101"
vbond 172.16.10.21
!
vpn 0
interface ge0/0
ip address 172.16.1.1/24
tunnel-interface
encapsulation ipsec
color biz-internet
!
no shutdown
!
ip route 0.0.0.0/0 172.16.2.254
!
vpn 10
interface ge0/1
ip address 10.1.1.1/24
no shutdown
system
host-name vEdge2
system-ip 2.2.2.2
site-id 2
organization-name "Criterio1 - 19101"
vbond 172.16.10.21
!
vpn 0
interface ge0/0
ip address 172.16.2.2/24
tunnel-interface
encapsulation ipsec
color biz-internet
!
no shutdown
!
interface ge0/1
ip address 172.16.3.2/24
tunnel-interface
encapsulation ipsec
color lte
!
no shutdown
!
ip route 0.0.0.0/0 172.16.2.254
ip route 0.0.0.0/0 172.16.3.254
!
vpn 10
ecmp-hash-key layer4
interface ge0/2
ip address 20.1.1.2/24
no shutdown
!
policy
app-visibility
aaa new-model
!
aaa authentication login default none
aaa authentication enable default none
!
interface GigabitEthernet2
ip address 10.1.1.11 255.255.255.0
!
ip route 0.0.0.0 0.0.0.0 10.1.1.1
!
line vty 0 4
privilege level 15
transport input telnet
interface GigabitEthernet2
ip address 20.1.1.12 255.255.255.0
!
ip route 0.0.0.0 0.0.0.0 20.1.1.2
interface GigabitEthernet2
ip address 172.16.1.254 255.255.255.0
!
interface GigabitEthernet3
ip address 172.16.2.254 255.255.255.0
!
interface GigabitEthernet4
ip address 172.16.3.254 255.255.255.0
!
interface GigabitEthernet5
ip address 172.16.10.254 255.255.255.0
設定、正常時の動作確認
Last Resort Circuit設定前の状態確認
vEdge2でshow control connectionsコマンドを実行して、vSmartなどとのコントロールプレーンの通信を確認します。
vEdge2
vEdge2# show control connections | tab
LOCAL CFG V
PEER SITE DOMAIN LOCAL PRIVATE PUBLIC PRIVATE CONTROLLER SYSTEM ORG BEHIND
INSTANCE TYPE ID ID PRIVATE IP PORT PUBLIC IP PORT SYSTEM IP PROTOCOL LOCAL COLOR REMOTE COLOR PRIVATE IP PORT STATE UPTIME GROUP ID IP NAME PROXY
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
0 vsmart 10 1 172.16.2.2 12346 172.16.10.31 12446 10.1.10.31 dtls biz-internet default 172.16.10.31 12446 up 0:00:04:28 0 - - No
0 vsmart 10 1 172.16.3.2 12366 172.16.10.31 12446 10.1.10.31 dtls lte default 172.16.10.31 12446 up 0:00:01:21 0 - - No
0 vbond 0 0 172.16.2.2 12346 172.16.10.21 12346 0.0.0.0 dtls biz-internet biz-internet 172.16.10.21 12346 up 0:00:04:29 0 - - -
0 vbond 0 0 172.16.3.2 12366 172.16.10.21 12346 0.0.0.0 dtls lte lte 172.16.10.21 12346 up 0:00:01:21 0 - - -
0 vmanage 10 0 172.16.2.2 12346 172.16.10.11 12446 10.1.10.11 dtls biz-internet default 172.16.10.11 12446 up 0:00:04:28 0 - - No
vEdge2はインターネットとLTEの両方を使用してコントロールプレーンの通信をしていることが確認できます。(この図はあくまでもイメージになります。LTEは用意してないです。。。)
vEdge2でshow omp tlocsコマンドを実行すると、vEdge2はインターネットとLTEの両方のTLOCを生成していることが確認できます。
vEdge2
vEdge2# show omp tlocs
C -> chosen
I -> installed
Red -> redistributed
Rej -> rejected
L -> looped
R -> resolved
S -> stale
Ext -> extranet
Stg -> staged
Inv -> invalid
PUBLIC PRIVATE
ADDRESS PSEUDO PUBLIC PRIVATE PUBLIC IPV6 PRIVATE IPV6 BFD
FAMILY TLOC IP COLOR ENCAP FROM PEER STATUS KEY PUBLIC IP PORT PRIVATE IP PORT IPV6 PORT IPV6 PORT STATUS
-----------------------------------------------------------------------------------------------------------------------------------------------------
ipv4 1.1.1.1 biz-internet ipsec 10.1.10.31 C,I,R 1 172.16.1.1 12346 172.16.1.1 12346 :: 0 :: 0 up
2.2.2.2 biz-internet ipsec 0.0.0.0 C,Red,R 1 172.16.2.2 12346 172.16.2.2 12346 :: 0 :: 0 up
2.2.2.2 lte ipsec 0.0.0.0 C,Red,R 1 172.16.3.2 12366 172.16.3.2 12366 :: 0 :: 0 up
vEdge2でshow bfd sessionsコマンドを実行します。
vEdge2
vEdge2# show bfd sessions | tab
SRC DST SYSTEM SITE DETECT TX
SRC IP DST IP PROTO PORT PORT IP ID LOCAL COLOR COLOR STATE MULTIPLIER INTERVAL UPTIME TRANSITIONS
----------------------------------------------------------------------------------------------------------------------------------------------
172.16.2.2 172.16.1.1 ipsec 12346 12346 1.1.1.1 1 biz-internet biz-internet up 7 1000 0:00:11:37 0
172.16.3.2 172.16.1.1 ipsec 12366 12346 1.1.1.1 1 lte biz-internet up 7 1000 0:00:11:37 0
vEdge2はインターネットとLTE経由でvEdge1とオーバレイトンネルを確立していることが確認できます。
Preference変更前の疎通確認
R2からR1に対して、2回Telnetを実行します。
vEdge2でshow app dpi flowsコマンドを実行すると、vEdge2はインターネットとLTEの両方を使用してTelnetパケットを転送していることが確認できます。
vEdge2
vEdge2# show app dpi flows detail
app dpi flows vpn 10 20.1.1.12 10.1.1.11 37889 23 tcp
application telnet
family Terminal
active-since 2020-04-23T23:32:02+00:00
packets 55
octets 2327
tunnels-in 1
local-tloc TLOC IP 2.2.2.2
local-tloc color biz-internet
local-tloc encap ipsec
remote-tloc TLOC IP 1.1.1.1
remote-tloc color biz-internet
remote-tloc encap ipsec
packets 29
octets 1223
start-time 2020-04-23T23:32:02+00:00
tunnels-out 1
local-tloc ip 2.2.2.2
local-tloc color lte
local-tloc encap ipsec
remote-tloc TLOC IP 1.1.1.1
remote-tloc color biz-internet
remote-tloc encap ipsec
packets 26
octets 1104
start-time 2020-04-23T23:32:02+00:00
app dpi flows vpn 10 20.1.1.12 10.1.1.11 53249 23 tcp
application telnet
family Terminal
active-since 2020-04-23T23:32:00+00:00
packets 39
octets 1669
tunnels-in 1
local-tloc TLOC IP 2.2.2.2
local-tloc color lte
local-tloc encap ipsec
remote-tloc TLOC IP 1.1.1.1
remote-tloc color biz-internet
remote-tloc encap ipsec
packets 19
octets 817
start-time 2020-04-23T23:32:00+00:00
tunnels-out 1
local-tloc ip 2.2.2.2
local-tloc color lte
local-tloc encap ipsec
remote-tloc TLOC IP 1.1.1.1
remote-tloc color biz-internet
remote-tloc encap ipsec
packets 20
octets 852
start-time 2020-04-23T23:32:00+00:00
vEdge2でLast Resort Circuitを有効化
vEdge2のLTE用のTLOCをLast Resort Circuitとして使用するために、last-resort-circuitコマンドを設定します。
vEdge2
vpn 0
interface ge0/1
tunnel-interface
last-resort-circuit
Last Resort Circuit設定後の状態確認
vEdge2でshow control connectionsコマンドを実行して、vSmartなどとのコントロールプレーンの通信を確認します。
vEdge2
vEdge2# show control connections | tab
LOCAL CFG V
PEER SITE DOMAIN LOCAL PRIVATE PUBLIC PRIVATE CONTROLLER SYSTEM ORG BEHIND
INSTANCE TYPE ID ID PRIVATE IP PORT PUBLIC IP PORT SYSTEM IP PROTOCOL LOCAL COLOR REMOTE COLOR PRIVATE IP PORT STATE UPTIME GROUP ID IP NAME PROXY
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
0 vsmart 10 1 172.16.2.2 12346 172.16.10.31 12446 10.1.10.31 dtls biz-internet default 172.16.10.31 12446 up 0:01:20:14 0 - - No
0 vbond 0 0 172.16.2.2 12346 172.16.10.21 12346 0.0.0.0 dtls biz-internet biz-internet 172.16.10.21 12346 up 0:01:20:14 0 - - -
0 vmanage 10 0 172.16.2.2 12346 172.16.10.11 12446 10.1.10.11 dtls biz-internet default 172.16.10.11 12446 up 0:01:20:14 0 - - No
vEdge2はインターネットのみを使用してコントロールプレーンの通信をしていることが確認できます。
vEdge2でshow omp tlocsコマンドを実行すると、vEdge2はインターネット用のTLOCのみ生成していることが確認できます。
vEdge2
vEdge2# show omp tlocs
C -> chosen
I -> installed
Red -> redistributed
Rej -> rejected
L -> looped
R -> resolved
S -> stale
Ext -> extranet
Stg -> staged
Inv -> invalid
PUBLIC PRIVATE
ADDRESS PSEUDO PUBLIC PRIVATE PUBLIC IPV6 PRIVATE IPV6 BFD
FAMILY TLOC IP COLOR ENCAP FROM PEER STATUS KEY PUBLIC IP PORT PRIVATE IP PORT IPV6 PORT IPV6 PORT STATUS
-----------------------------------------------------------------------------------------------------------------------------------------------------
ipv4 1.1.1.1 biz-internet ipsec 10.1.10.31 C,I,R 1 172.16.1.1 12346 172.16.1.1 12346 :: 0 :: 0 up
2.2.2.2 biz-internet ipsec 0.0.0.0 C,Red,R 1 172.16.2.2 12346 172.16.2.2 12346 :: 0 :: 0 up
vEdge2でshow bfd sessionsコマンドを実行します。
vEdge2
vEdge2# show bfd sessions | tab
SRC DST SYSTEM SITE DETECT TX
SRC IP DST IP PROTO PORT PORT IP ID LOCAL COLOR COLOR STATE MULTIPLIER INTERVAL UPTIME TRANSITIONS
----------------------------------------------------------------------------------------------------------------------------------------------
172.16.2.2 172.16.1.1 ipsec 12346 12346 1.1.1.1 1 biz-internet biz-internet up 7 1000 0:01:23:45 0
vEdge2はインターネット経由でvEdge1とオーバレイトンネルを確立していることが確認できます。
Last Resort Circuit設定後の疎通確認
R2からR1に対して、Telnetを実行します。
vEdge2でshow app dpi flowsコマンドを実行すると、vEdge2はインターネット経由でTelnetパケットを転送していることが確認できます。
vEdge2
vEdge2# show app dpi flows detail
app dpi flows vpn 10 20.1.1.12 10.1.1.11 26625 23 tcp
application telnet
family Terminal
active-since 2020-04-24T00:28:14+00:00
packets 23
octets 1011
tunnels-in 1
local-tloc TLOC IP 2.2.2.2
local-tloc color biz-internet
local-tloc encap ipsec
remote-tloc TLOC IP 1.1.1.1
remote-tloc color biz-internet
remote-tloc encap ipsec
packets 12
octets 531
start-time 2020-04-24T00:28:14+00:00
tunnels-out 1
local-tloc ip 2.2.2.2
local-tloc color biz-internet
local-tloc encap ipsec
remote-tloc TLOC IP 1.1.1.1
remote-tloc color biz-internet
remote-tloc encap ipsec
packets 11
octets 480
start-time 2020-04-24T00:28:14+00:00
インターネット回線障害時の動作確認
vEdge2のインターネット向けのWANインタフェース障害
vEdge2のインターネット向けのWANインタフェースであるge0/0をシャットダウンします。
vEdge2
vpn 0
interface ge0/0
shutdown
vEdge2でshow interfaceコマンドを実行すると、ge0/0がダウンしていることが確認できます。
vEdge2
vEdge2# show interface
IF IF IF TCP
AF ADMIN OPER TRACKER ENCAP SPEED MSS RX TX
VPN INTERFACE TYPE IP ADDRESS STATUS STATUS STATUS TYPE PORT TYPE MTU HWADDR MBPS DUPLEX ADJUST UPTIME PACKETS PACKETS
-----------------------------------------------------------------------------------------------------------------------------------------------------------------
0 ge0/0 ipv4 172.16.2.2/24 Down Down NA null transport 1500 00:0c:29:35:f9:91 - - 1416 - 40556 38164
0 ge0/1 ipv4 172.16.3.2/24 Up Up NA null transport 1500 00:0c:29:35:f9:9b 1000 full 1416 0:00:00:16 19739 18331
0 system ipv4 2.2.2.2/32 Up Up NA null loopback 1500 00:00:00:00:00:00 0 full 1416 0:01:34:44 0 0
10 ge0/2 ipv4 20.1.1.2/24 Up Up NA null service 1500 00:0c:29:35:f9:a5 1000 full 1416 0:01:32:24 556 296
512 eth0 ipv4 192.168.1.212/24 Up Up NA null service 1500 00:0c:29:35:f9:87 0 full 0 0:01:34:38 9846 2460
障害発生後の状態確認
vEdge2でshow control connectionsコマンドを実行して、vSmartなどとのコントロールプレーンの通信を確認します。
vEdge2
vEdge2# show control connections | tab
LOCAL CFG V
PEER SITE DOMAIN LOCAL PRIVATE PUBLIC LOCAL REMOTE PRIVATE CONTROLLER SYSTEM ORG BEHIND
INSTANCE TYPE ID ID PRIVATE IP PORT PUBLIC IP PORT SYSTEM IP PROTOCOL COLOR COLOR PRIVATE IP PORT STATE UPTIME GROUP ID IP NAME PROXY
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
0 vsmart 10 1 172.16.3.2 12366 172.16.10.31 12446 10.1.10.31 dtls lte default 172.16.10.31 12446 up 0:00:05:28 0 - - No
0 vbond 0 0 172.16.3.2 12366 172.16.10.21 12346 0.0.0.0 dtls lte lte 172.16.10.21 12346 up 0:00:05:28 0 - - -
0 vmanage 10 0 172.16.3.2 12366 172.16.10.11 12446 10.1.10.11 dtls lte default 172.16.10.11 12446 up 0:00:05:28 0 - - No
vEdge2はLTEを使用してコントロールプレーンの通信をしていることが確認できます。
vEdge2でshow omp tlocsコマンドを実行すると、vEdge2はLTE用のTLOCのみ生成していることが確認できます。
vEdge2
vEdge2# show omp tlocs
C -> chosen
I -> installed
Red -> redistributed
Rej -> rejected
L -> looped
R -> resolved
S -> stale
Ext -> extranet
Stg -> staged
Inv -> invalid
PUBLIC PRIVATE
ADDRESS PSEUDO PUBLIC PRIVATE PUBLIC IPV6 PRIVATE IPV6 BFD
FAMILY TLOC IP COLOR ENCAP FROM PEER STATUS KEY PUBLIC IP PORT PRIVATE IP PORT IPV6 PORT IPV6 PORT STATUS
--------------------------------------------------------------------------------------------------------------------------------------------------
ipv4 1.1.1.1 biz-internet ipsec 10.1.10.31 C,I,R 1 172.16.1.1 12346 172.16.1.1 12346 :: 0 :: 0 up
2.2.2.2 lte ipsec 0.0.0.0 C,Red,R 1 172.16.3.2 12366 172.16.3.2 12366 :: 0 :: 0 up
vEdge2でshow bfd sessionsコマンドを実行します。
vEdge2
vEdge2# show bfd sessions | tab
SRC DST SYSTEM SITE LOCAL DETECT TX
SRC IP DST IP PROTO PORT PORT IP ID COLOR COLOR STATE MULTIPLIER INTERVAL UPTIME TRANSITIONS
---------------------------------------------------------------------------------------------------------------------------------------
172.16.3.2 172.16.1.1 ipsec 12366 12346 1.1.1.1 1 lte biz-internet up 7 1000 0:00:06:21 1
vEdge2はLTE経由でvEdge1とオーバレイトンネルを確立していることが確認できます。
障害発生後の疎通確認
R2からR1に対して、Telnetを実施します。
vEdge2でshow app dpi flowsコマンドを実行すると、vEdge2はLTE経由でTelnetパケットを転送していることが確認できます。
vEdge2
vEdge2# show app dpi flows detail
app dpi flows vpn 10 20.1.1.12 10.1.1.11 26625 23 tcp
application tcp
family "Network Service"
active-since 2020-04-24T00:45:14+00:00
packets 8
octets 334
tunnels-in 1
local-tloc TLOC IP 2.2.2.2
local-tloc color lte
local-tloc encap ipsec
remote-tloc TLOC IP 1.1.1.1
remote-tloc color biz-internet
remote-tloc encap ipsec
packets 4
octets 164
start-time 2020-04-24T00:45:14+00:00
tunnels-out 1
local-tloc ip 2.2.2.2
local-tloc color lte
local-tloc encap ipsec
remote-tloc TLOC IP 1.1.1.1
remote-tloc color biz-internet
remote-tloc encap ipsec
packets 4
octets 170
start-time 2020-04-24T00:45:14+00:00
コメント