今回はSRのActive/Active方式のHAを使用している場合に発生するルーティングの問題点をまとめました。
この記事の目次
概要
SRのActive/Active HAのルーティングの問題点
今回の記事は、次回の記事で解説予定のBGP Inter-SR Routingと呼ばれる機能が何故必要なのか、というのを自分なりに整理した内容になっています。
まず、下図のようにTier-0 GWのSRをActive/Active方式で冗長化し、かつ、Tier-0 GWのSRと物理ルータ間でBGPを動作させる設計も多々あると思います。
このような設計において、もし、Tier-0 GWのSRが配置されているNSX Edgeで障害が発生した場合でも、他のNSX Edge経由で通信を継続可能です。
また、物理ルータ側で障害が発生し、Tier-0 GWのSRと物理ルータ間のBGPネイバーがダウンした場合も、他のNSX Edge経由で通信が継続可能です。
しかし、下図のように、物理ルータのUplinkなどで障害が発生し、Tier-0 GWのSRと物理ルータ間のBGPネイバーは生きているが、Tier-0 GWのSRが物理ルータからルート情報を学習できない場合、Tier-0 GWのDRはパケットを他のTier-0 GWのSRに転送できず、通信断が発生してしまいます。
上記の問題はTier-0 GWのSR間でIBGPを動作させ、ルート情報を交換するInter-SR Routingと呼ばれる機能を使用すれば、解消可能です。
最初、自分は上記のBGPのInter-SR Routingが何故必要か分かりませんでした。それは、Tier-0 GWのSRが学習したルート情報は自動的にTier-0 GWのDRに広報されると思っていたからです。
そのため、物理ルータのUplinkで障害が発生し、Tier-0 GWのSRがBGP経由でルート情報を学習できなくなった際、Tier-0 GWのDRのルーティングテーブルが自動的に更新され、正常に通信が継続できると勘違いしていました。
しかし、色々と検証した結果、Tier-0 GWのSRが学習したルート情報は、Tier-0 GWのDRには広報されませんでした。その代わり、Tier-0 GWのDRのルーティングテーブルにはTier-0 GWのSRをネクストホップとしてデフォルトルートが投入されます。これにより、Tier-0 GWのDRはインターネット宛のパケットをTier-0 GWのSRに転送できます。
このTier-0 GWのDRのデフォルトルートは、ネクストホップとなるTier-0 GWのSR経由でインターネットに出れない場合でも、常に残り続けてしまいます。その結果、Tier-0 GWのSRと物理ルータ間のBGPネイバーは生きているが、Tier-0 GWのSRが物理ルータからルート情報を学習できない場合では、上手く通信を迂回できない、という結論になりました。
BGPネイバーがダウンした場合では通信を迂回できる根本的な理由は分からなかったのですが、状態を比較したところ、BGPネイバーがダウンしたTier-0 GWのSRでは、Tier-0 GWのDR向けDownlinkもダウンしていました。(-0 GWのSRと物理ルータ間のBGPネイバーは生きているが、Tier-0 GWのSRが物理ルータからルート情報を学習できない場合では、Tier-0 GWのSRのDownlinkはアップしたままでした。)
検証結果
検証内容、構成
Tier-1 GWでSegment 1を収容します。
Tier-1 GWとTier-0 GWを接続します。
NSX EdgeにTier-0 GWのSRを配置し、物理ネットワークとNSX-Tの仮想ネットワークを接続します。
Tier-0 GWのSRはActive/Active方式でNSX Edge1とNSX Edge2に配置します。
NSX Edge1に配置されたTier-0 GWのSR(以降ではTier-0 GW SR1と表記)をAS 100、R2をAS 200としてEBGPネイバーを構成します。
NSX Edge2に配置されたTier-0 GWのSR(以降ではTier-0 GW SR2と表記)をAS 100、R3をAS 300としてEBGPネイバーを構成します。
Tier-0 GWのSRはBGP経由で10.1.1.0/24を広報します。
R2とR3はBGP経由で20.2.2.0/24を広報します。
ネットワーク機器のCLIの設定
interface GigabitEthernet2
ip address 10.1.1.1 255.255.255.0
!
ip route 0.0.0.0 0.0.0.0 10.1.1.254
interface Loopback0
ip address 20.2.2.23 255.255.255.0
!
interface GigabitEthernet2
ip address 20.1.1.102 255.255.255.0
!
router bgp 200
bgp router-id 2.2.2.2
network 20.2.2.0 mask 255.255.255.0
neighbor 20.1.1.1 remote-as 100
interface Loopback0
ip address 20.2.2.23 255.255.255.0
!
interface GigabitEthernet2
ip address 20.1.1.103 255.255.255.0
!
router bgp 300
bgp router-id 3.3.3.3
network 20.2.2.0 mask 255.255.255.0
neighbor 20.1.1.2 remote-as 100
NSX-Tの設定
Edge Clusterの設定
Edge Clusterには2台のNSX Edgeを登録します。
Tier-0 GWの設定
HAモードにアクティブ/アクティブ、Edgeクラスタに先程定義したEdge Clusterを指定します。
次に、Uplinkを設定します。今回は仮想ネットワークと物理ネットワーク間の接続を冗長化するので、NSX Edge1とNSX Edge2にUplinkを作成します。
次にBGPを設定します。Tier-0 GW SR1とR2間、Tier-0 GW SR2とR3間でEBGPネイバーを構成します。
最後に、Segment 1の10.1.1.0/24をBGPで広報します。
正常時の状態/疎通確認
Tier-0 GWのSRのBGPの状態確認
Tier-0 GW SR1はR2、Tier-0 GW SR2はR3とBGPネイバーを確立していることが確認できます。
Tier-0 GW SR1(NSX Edge1)
edge1(tier0_sr)> get bgp neighbor
BGP neighbor is 20.1.1.102, remote AS 200, local AS 100, external link
BGP version 4, remote router ID 2.2.2.2, local router ID 20.1.1.1
BGP state = Established, up for 11:56:03
.
<一部省略>
Tier-0 GW SR2(NSX Edge2)
edge2(tier0_sr)> get bgp neighbor
BGP neighbor is 20.1.1.103, remote AS 300, local AS 100, external link
BGP version 4, remote router ID 3.3.3.3, local router ID 20.1.1.2
BGP state = Established, up for 11:58:20
.
<一部省略>
Tier-0 GW SR1とTier-0 GW SR2はBGP経由で20.2.2.0/24を学習していることが確認できます。
Tier-0 GW SR1(NSX Edge1)
edge1(tier0_sr)> get bgp
BGP IPv4 table version is 10, BGP IPv6 table version is 0
Local router ID is 20.1.1.1
Status flags: > - best, I - internal
Origin flags: i - IGP, e - EGP, ? - incomplete
EVPN type-2 prefix: [2]:[EthTag]:[MAClen]:[MAC]:[IPlen]:[IP]
EVPN type-3 prefix: [3]:[EthTag]:[IPlen]:[OrigIP]
EVPN type-4 prefix: [4]:[ESI]:[IPlen]:[OrigIP]
EVPN type-5 prefix: [5]:[EthTag]:[IPlen]:[IP]
Network Next Hop Metric LocPrf Weight Path RD
> 10.1.1.0/24 100.64.176.1 0 100 32768 100 ?
> 20.2.2.0/24 20.1.1.102 0 100 0 200 100 i
Tier-0 GW SR2(NSX Edge2)
edge2(tier0_sr)> get bgp
BGP IPv4 table version is 2, BGP IPv6 table version is 0
Local router ID is 20.1.1.2
Status flags: > - best, I - internal
Origin flags: i - IGP, e - EGP, ? - incomplete
EVPN type-2 prefix: [2]:[EthTag]:[MAClen]:[MAC]:[IPlen]:[IP]
EVPN type-3 prefix: [3]:[EthTag]:[IPlen]:[OrigIP]
EVPN type-4 prefix: [4]:[ESI]:[IPlen]:[OrigIP]
EVPN type-5 prefix: [5]:[EthTag]:[IPlen]:[IP]
Network Next Hop Metric LocPrf Weight Path RD
> 10.1.1.0/24 100.64.176.1 0 100 32768 100 ?
> 20.2.2.0/24 20.1.1.103 0 100 0 300 100 i
Tier-0 GWのSRのDownlinkの状態確認
Tier-0 GW SR1とTier-0 GW SR2のDownlinkがアップしていることが確認できます。
Tier-0 GW SR1(NSX Edge1)
edge1(tier0_sr)> get interfaces
Logical Router
UUID VRF LR-ID Name Type
f6d536a6-0edc-459c-9fff-bef1a717f5a7 5 4099 SR-Tier-0_GW SERVICE_ROUTER_TIER0
Interfaces (IPv6 DAD Status A-Assigned, D-Duplicate, T-Tentative)
Interface : 7f07d7d8-26ae-48cb-96b1-1f14d8461a61
Ifuid : 299
Name : bp-sr0-port
Fwd-mode : IPV4_ONLY
Internal name : downlink-299
Mode : lif
Port-type : backplane
IP/Mask : 169.254.0.2/25;fe80::50:56ff:fe56:5300/64(NA)
MAC : 02:50:56:56:53:00
VNI : 65539
Access-VLAN : None
LS port : 232c2663-7173-4e0a-8a54-6a297ba71ba8
Urpf-mode : NONE
DAD-mode : LOOSE
RA-mode : RA_INVALID
Admin : up
Op_state : up
MTU : 1500
.
<一部省略>
Tier-0 GW SR2(NSX Edge2)
edge2(tier0_sr)> get interfaces
Logical Router
UUID VRF LR-ID Name Type
86666169-5d83-4ccd-96df-ed72e1c407b8 5 4100 SR-Tier-0_GW SERVICE_ROUTER_TIER0
Interfaces (IPv6 DAD Status A-Assigned, D-Duplicate, T-Tentative)
Interface : 59421559-4b24-4d07-b9d0-40e80441950c
Ifuid : 298
Name : bp-sr1-port
Fwd-mode : IPV4_ONLY
Internal name : downlink-298
Mode : lif
Port-type : backplane
IP/Mask : 169.254.0.3/25;fe80::50:56ff:fe56:5301/64(NA)
MAC : 02:50:56:56:53:01
VNI : 65539
Access-VLAN : None
LS port : cf187236-ed9d-4b7a-9985-b5aed53be234
Urpf-mode : NONE
DAD-mode : LOOSE
RA-mode : RA_INVALID
Admin : up
Op_state : up
MTU : 1500
.
<一部省略>
Tier-0 GWのSRのルーティングテーブルの確認
Tier-0 GW SR1とTier-0 GW SR2のルーティングテーブルに20.2.2.0/24が存在することが確認できます。
Tier-0 GW SR1(NSX Edge1)
edge1(tier0_sr)> get route
Flags: t0c - Tier0-Connected, t0s - Tier0-Static, b - BGP,
t0n - Tier0-NAT, t1s - Tier1-Static, t1c - Tier1-Connected,
t1n: Tier1-NAT, t1l: Tier1-LB VIP, t1ls: Tier1-LB SNAT,
t1d: Tier1-DNS FORWARDER, t1ipsec: Tier1-IPSec, isr: Inter-SR,
> - selected route, * - FIB route
Total number of routes: 7
t1c> * 10.1.1.0/24 [3/0] via 100.64.176.1, linked-308, 13:57:53
t0c> * 20.1.1.0/24 is directly connected, uplink-297, 13:59:00
b > * 20.2.2.0/24 [20/0] via 20.1.1.102, uplink-297, 00:01:39
t0c> * 100.64.176.0/31 is directly connected, linked-308, 13:57:55
t0c> * 169.254.0.0/25 is directly connected, downlink-299, 11:56:26
t0c> * fcd4:ae0b:c612:b800::/64 is directly connected, linked-308, 13:57:55
t0c> * fe80::/64 is directly connected, linked-308, 13:57:55
Tier-0 GW SR2(NSX Edge2)
edge2(tier0_sr)> get route
Flags: t0c - Tier0-Connected, t0s - Tier0-Static, b - BGP,
t0n - Tier0-NAT, t1s - Tier1-Static, t1c - Tier1-Connected,
t1n: Tier1-NAT, t1l: Tier1-LB VIP, t1ls: Tier1-LB SNAT,
t1d: Tier1-DNS FORWARDER, t1ipsec: Tier1-IPSec, isr: Inter-SR,
> - selected route, * - FIB route
Total number of routes: 7
t1c> * 10.1.1.0/24 [3/0] via 100.64.176.1, linked-307, 13:58:21
t0c> * 20.1.1.0/24 is directly connected, uplink-297, 13:58:59
b > * 20.2.2.0/24 [20/0] via 20.1.1.103, uplink-297, 11:58:26
t0c> * 100.64.176.0/31 is directly connected, linked-307, 13:58:23
t0c> * 169.254.0.0/25 is directly connected, downlink-298, 11:58:26
t0c> * fcd4:ae0b:c612:b800::/64 is directly connected, linked-307, 13:58:23
t0c> * fe80::/64 is directly connected, linked-307, 13:58:23
Tier-0 GWのDRのルーティングテーブルの確認
Tier-0 GWのDRのルーティングテーブルには20.2.2.0/24は存在せず、Tier-0 GW SR1とTier-0 GW SR2をネクストホップとしたデフォルトルートが存在することが確認できます。
NSX Manager
nsx-manager1> get logical-router dfdfaf66-b193-4c24-a49d-ecfe2e61042a route
Router/Cluster-UUID Destination Next-Hop LR-Port-Id Blackhole Blackhole-Action Route-Type Admin-Distance Admin-State-Up Route-UUID
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 0.0.0.0/0 169.254.0.3 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 250 true 952f1b1b-8e77-4cdf-971f-2d8ce010044f
169.254.0.2 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 250 true
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 169.254.0.0/25 N/A d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A CONNECTED 0 true d6668bf4-6a7c-4d8d-bb4b-fb8b2a71d940
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 20.1.1.1/32 169.254.0.2 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 0 true bd6d856a-3f49-4c59-9e69-924abd247942
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 169.254.0.0/24 N/A d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A CONNECTED 0 true 19b07713-0a2e-4f93-b388-e5f6b55e051d
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 20.1.1.0/24 169.254.0.3 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 0 true cb008413-408e-484d-b281-1f62dddf78ff
169.254.0.2 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 0 true
dfdfaf66-b193-4c24-a49d-ecfe2e61042a fe80::/64 N/A d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A CONNECTED 0 true af77e0b3-9f3c-49ca-a57e-6f7540945a38
N/A f5af4e9a-5be4-4125-9915-9cb95ce0679b false N/A CONNECTED 0 true
dfdfaf66-b193-4c24-a49d-ecfe2e61042a ::/0 fe80::50:56ff:fe56:5301 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 250 true 5e4795e8-7f8e-4d03-8b00-3a3cfd6eb065
fe80::50:56ff:fe56:5300 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 250 true
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 10.1.1.0/24 100.64.176.1 f5af4e9a-5be4-4125-9915-9cb95ce0679b false N/A T1_DOWNLINK 3 true 216df07e-c0c0-4112-959a-33d137bddfd1
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 20.1.1.2/32 169.254.0.3 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 0 true 9f78d4cd-17b7-4017-8b14-74ee565d88e5
dfdfaf66-b193-4c24-a49d-ecfe2e61042a fcd4:ae0b:c612:b800::/64 N/A f5af4e9a-5be4-4125-9915-9cb95ce0679b false N/A CONNECTED 0 true 8a87a0fc-63e2-4541-adfe-4d88a39bafbc
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 100.64.176.0/31 N/A f5af4e9a-5be4-4125-9915-9cb95ce0679b false N/A CONNECTED 0 true 6a262a49-3336-4a74-8225-a470a65f1be8
疎通確認
R1の10.1.1.1から20.2.2.23へPingを実施します。
R1の10.1.1.1から20.2.2.23へのPingが成功することが確認できます。
R1
R1#ping 20.2.2.23 source 10.1.1.1
Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 20.2.2.23, timeout is 2 seconds:
Packet sent with a source address of 10.1.1.1
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/2 ms
トレースフローの結果を見ると、トラフィックがTier-0 GW SR1を経由していることが確認できます。
Tier-0 GW SR1とR2間のBGPネイバーダウン時の状態/疎通確認
R2のG2インタフェースをシャットダウンし、Tier-0 GW SR1とR2間のBGPネイバーをダウンさせます。
Tier-0 GWのSRのBGPの状態確認
Tier-0 GW SR1とR2間のBGPネイバーがダウンしていることが確認できます。
Tier-0 GW SR1(NSX Edge1)
edge1(tier0_sr)> get bgp neighbor
BGP neighbor is 20.1.1.102, remote AS 200, local AS 100, external link
BGP version 4, remote router ID 0.0.0.0, local router ID 20.1.1.1
BGP state = Active
.
<一部省略>
Tier-0 GW SR2(NSX Edge2)
edge2(tier0_sr)> get bgp neighbor
BGP neighbor is 20.1.1.103, remote AS 300, local AS 100, external link
BGP version 4, remote router ID 3.3.3.3, local router ID 20.1.1.2
BGP state = Established, up for 20:34:70
.
<一部省略>
Tier-0 GW SR1はBGP経由で20.2.2.0/24を学習していないことが確認できます。
Tier-0 GW SR1(NSX Edge1)
edge1(tier0_sr)> get bgp
BGP IPv4 table version is 10, BGP IPv6 table version is 0
Local router ID is 20.1.1.1
Status flags: > - best, I - internal
Origin flags: i - IGP, e - EGP, ? - incomplete
EVPN type-2 prefix: [2]:[EthTag]:[MAClen]:[MAC]:[IPlen]:[IP]
EVPN type-3 prefix: [3]:[EthTag]:[IPlen]:[OrigIP]
EVPN type-4 prefix: [4]:[ESI]:[IPlen]:[OrigIP]
EVPN type-5 prefix: [5]:[EthTag]:[IPlen]:[IP]
Network Next Hop Metric LocPrf Weight Path RD
> 10.1.1.0/24 100.64.176.1 0 100 32768 100 ?
Tier-0 GW SR2(NSX Edge2)
edge2(tier0_sr)> get bgp
BGP IPv4 table version is 2, BGP IPv6 table version is 0
Local router ID is 20.1.1.2
Status flags: > - best, I - internal
Origin flags: i - IGP, e - EGP, ? - incomplete
EVPN type-2 prefix: [2]:[EthTag]:[MAClen]:[MAC]:[IPlen]:[IP]
EVPN type-3 prefix: [3]:[EthTag]:[IPlen]:[OrigIP]
EVPN type-4 prefix: [4]:[ESI]:[IPlen]:[OrigIP]
EVPN type-5 prefix: [5]:[EthTag]:[IPlen]:[IP]
Network Next Hop Metric LocPrf Weight Path RD
> 10.1.1.0/24 100.64.176.1 0 100 32768 100 ?
> 20.2.2.0/24 20.1.1.103 0 100 0 300 100 i
Tier-0 GWのSRのDownlinkの状態確認
Tier-0 GW SR1のDownlinkがダウンしていることが確認できます。
Tier-0 GW SR1(NSX Edge1)
edge1(tier0_sr)> get interfaces
Logical Router
UUID VRF LR-ID Name Type
f6d536a6-0edc-459c-9fff-bef1a717f5a7 5 4099 SR-Tier-0_GW SERVICE_ROUTER_TIER0
Interfaces (IPv6 DAD Status A-Assigned, D-Duplicate, T-Tentative)
Interface : 7f07d7d8-26ae-48cb-96b1-1f14d8461a61
Ifuid : 299
Name : bp-sr0-port
Fwd-mode : IPV4_ONLY
Internal name : downlink-299
Mode : lif
Port-type : backplane
IP/Mask :
MAC : 02:50:56:56:53:00
VNI : 65539
Access-VLAN : None
LS port : 232c2663-7173-4e0a-8a54-6a297ba71ba8
Urpf-mode : NONE
DAD-mode : LOOSE
RA-mode : RA_INVALID
Admin : up
Op_state : down
MTU : 1500
.
<一部省略>
Tier-0 GW SR2(NSX Edge2)
edge2(tier0_sr)> get interfaces
Logical Router
UUID VRF LR-ID Name Type
86666169-5d83-4ccd-96df-ed72e1c407b8 5 4100 SR-Tier-0_GW SERVICE_ROUTER_TIER0
Interfaces (IPv6 DAD Status A-Assigned, D-Duplicate, T-Tentative)
Interface : 59421559-4b24-4d07-b9d0-40e80441950c
Ifuid : 298
Name : bp-sr1-port
Fwd-mode : IPV4_ONLY
Internal name : downlink-298
Mode : lif
Port-type : backplane
IP/Mask : 169.254.0.3/25;fe80::50:56ff:fe56:5301/64(NA)
MAC : 02:50:56:56:53:01
VNI : 65539
Access-VLAN : None
LS port : cf187236-ed9d-4b7a-9985-b5aed53be234
Urpf-mode : NONE
DAD-mode : LOOSE
RA-mode : RA_INVALID
Admin : up
Op_state : up
MTU : 1500
.
<一部省略>
Tier-0 GWのSRのルーティングテーブルの確認
Tier-0 GW SR1のルーティングテーブルから20.2.2.0/24が消失したことが確認できます。
Tier-0 GW SR1(NSX Edge1)
edge1(tier0_sr)> get route
Flags: t0c - Tier0-Connected, t0s - Tier0-Static, b - BGP,
t0n - Tier0-NAT, t1s - Tier1-Static, t1c - Tier1-Connected,
t1n: Tier1-NAT, t1l: Tier1-LB VIP, t1ls: Tier1-LB SNAT,
t1d: Tier1-DNS FORWARDER, t1ipsec: Tier1-IPSec, isr: Inter-SR,
> - selected route, * - FIB route
Total number of routes: 5
t1c> * 10.1.1.0/24 [3/0] via 100.64.176.1, linked-308, 14:28:33
t0c> * 20.1.1.0/24 is directly connected, uplink-297, 14:29:40
t0c> * 100.64.176.0/31 is directly connected, linked-308, 14:28:35
t0c> * fcd4:ae0b:c612:b800::/64 is directly connected, linked-308, 14:28:36
t0c> * fe80::/64 is directly connected, linked-308, 14:28:36
Tier-0 GW SR2(NSX Edge2)
edge2(tier0_sr)> get route
Flags: t0c - Tier0-Connected, t0s - Tier0-Static, b - BGP,
t0n - Tier0-NAT, t1s - Tier1-Static, t1c - Tier1-Connected,
t1n: Tier1-NAT, t1l: Tier1-LB VIP, t1ls: Tier1-LB SNAT,
t1d: Tier1-DNS FORWARDER, t1ipsec: Tier1-IPSec, isr: Inter-SR,
> - selected route, * - FIB route
Total number of routes: 7
t1c> * 10.1.1.0/24 [3/0] via 100.64.176.1, linked-307, 13:58:21
t0c> * 20.1.1.0/24 is directly connected, uplink-297, 13:58:59
b > * 20.2.2.0/24 [20/0] via 20.1.1.103, uplink-297, 11:58:26
t0c> * 100.64.176.0/31 is directly connected, linked-307, 13:58:23
t0c> * 169.254.0.0/25 is directly connected, downlink-298, 11:58:26
t0c> * fcd4:ae0b:c612:b800::/64 is directly connected, linked-307, 13:58:23
t0c> * fe80::/64 is directly connected, linked-307, 13:58:23
Tier-0 GWのDRのルーティングテーブルの確認
Tier-0 GWのDRのルーティングテーブルに存在するデフォルトルートのネクストホップにはTier-0 GW SR1が存在し続けていることが確認できます。
NSX Manager
nsx-manager1> get logical-router dfdfaf66-b193-4c24-a49d-ecfe2e61042a route
Router/Cluster-UUID Destination Next-Hop LR-Port-Id Blackhole Blackhole-Action Route-Type Admin-Distance Admin-State-Up Route-UUID
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 0.0.0.0/0 169.254.0.3 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 250 true 952f1b1b-8e77-4cdf-971f-2d8ce010044f
169.254.0.2 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 250 true
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 169.254.0.0/25 N/A d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A CONNECTED 0 true d6668bf4-6a7c-4d8d-bb4b-fb8b2a71d940
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 20.1.1.1/32 169.254.0.2 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 0 true bd6d856a-3f49-4c59-9e69-924abd247942
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 169.254.0.0/24 N/A d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A CONNECTED 0 true 19b07713-0a2e-4f93-b388-e5f6b55e051d
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 20.1.1.0/24 169.254.0.3 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 0 true cb008413-408e-484d-b281-1f62dddf78ff
169.254.0.2 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 0 true
dfdfaf66-b193-4c24-a49d-ecfe2e61042a fe80::/64 N/A d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A CONNECTED 0 true af77e0b3-9f3c-49ca-a57e-6f7540945a38
N/A f5af4e9a-5be4-4125-9915-9cb95ce0679b false N/A CONNECTED 0 true
dfdfaf66-b193-4c24-a49d-ecfe2e61042a ::/0 fe80::50:56ff:fe56:5301 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 250 true 5e4795e8-7f8e-4d03-8b00-3a3cfd6eb065
fe80::50:56ff:fe56:5300 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 250 true
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 10.1.1.0/24 100.64.176.1 f5af4e9a-5be4-4125-9915-9cb95ce0679b false N/A T1_DOWNLINK 3 true 216df07e-c0c0-4112-959a-33d137bddfd1
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 20.1.1.2/32 169.254.0.3 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 0 true 9f78d4cd-17b7-4017-8b14-74ee565d88e5
dfdfaf66-b193-4c24-a49d-ecfe2e61042a fcd4:ae0b:c612:b800::/64 N/A f5af4e9a-5be4-4125-9915-9cb95ce0679b false N/A CONNECTED 0 true 8a87a0fc-63e2-4541-adfe-4d88a39bafbc
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 100.64.176.0/31 N/A f5af4e9a-5be4-4125-9915-9cb95ce0679b false N/A CONNECTED 0 true 6a262a49-3336-4a74-8225-a470a65f1be8
疎通確認
R1の10.1.1.1から20.2.2.23へPingを実施します。
R1の10.1.1.1から20.2.2.23へのPingが成功することが確認できます。
R1
R1#ping 20.2.2.23 source 10.1.1.1
Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 20.2.2.23, timeout is 2 seconds:
Packet sent with a source address of 10.1.1.1
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/2 ms
トレースフローの結果を見ると、トラフィックがTier-0 GW SR2を経由していることが確認できます。
R2が20.2.2.0/24の広報を停止した際の状態/疎通確認
R2のlo0インタフェースをシャットダウンし、R2からTier-0 GW SR1に対する20.2.2.0/24の広報を停止します。
Tier-0 GWのSRのBGPの状態確認
Tier-0 GW SR1とR2間のBGPネイバーはアップしたままであることが確認できます。
Tier-0 GW SR1(NSX Edge1)
edge1(tier0_sr)> get bgp neighbor
BGP neighbor is 20.1.1.102, remote AS 200, local AS 100, external link
BGP version 4, remote router ID 2.2.2.2, local router ID 20.1.1.1
BGP state = Established, up for 00:06:47
.
<一部省略>
Tier-0 GW SR2(NSX Edge2)
edge2(tier0_sr)> get bgp neighbor
BGP neighbor is 20.1.1.103, remote AS 300, local AS 100, external link
BGP version 4, remote router ID 3.3.3.3, local router ID 20.1.1.2
BGP state = Established, up for 33:01:16
.
<一部省略>
Tier-0 GW SR1はBGP経由で20.2.2.0/24を学習していないことが確認できます。
Tier-0 GW SR1(NSX Edge1)
edge1(tier0_sr)> get bgp
BGP IPv4 table version is 10, BGP IPv6 table version is 0
Local router ID is 20.1.1.1
Status flags: > - best, I - internal
Origin flags: i - IGP, e - EGP, ? - incomplete
EVPN type-2 prefix: [2]:[EthTag]:[MAClen]:[MAC]:[IPlen]:[IP]
EVPN type-3 prefix: [3]:[EthTag]:[IPlen]:[OrigIP]
EVPN type-4 prefix: [4]:[ESI]:[IPlen]:[OrigIP]
EVPN type-5 prefix: [5]:[EthTag]:[IPlen]:[IP]
Network Next Hop Metric LocPrf Weight Path RD
> 10.1.1.0/24 100.64.176.1 0 100 32768 100 ?
Tier-0 GW SR2(NSX Edge2)
edge2(tier0_sr)> get bgp
BGP IPv4 table version is 2, BGP IPv6 table version is 0
Local router ID is 20.1.1.2
Status flags: > - best, I - internal
Origin flags: i - IGP, e - EGP, ? - incomplete
EVPN type-2 prefix: [2]:[EthTag]:[MAClen]:[MAC]:[IPlen]:[IP]
EVPN type-3 prefix: [3]:[EthTag]:[IPlen]:[OrigIP]
EVPN type-4 prefix: [4]:[ESI]:[IPlen]:[OrigIP]
EVPN type-5 prefix: [5]:[EthTag]:[IPlen]:[IP]
Network Next Hop Metric LocPrf Weight Path RD
> 10.1.1.0/24 100.64.176.1 0 100 32768 100 ?
> 20.2.2.0/24 20.1.1.103 0 100 0 300 100 i
Tier-0 GWのSRのDownlinkの状態確認
Tier-0 GW SR1のDownlinkがアップのままであることが確認できます。
Tier-0 GW SR1(NSX Edge1)
edge1(tier0_sr)> get interfaces
Logical Router
UUID VRF LR-ID Name Type
f6d536a6-0edc-459c-9fff-bef1a717f5a7 5 4099 SR-Tier-0_GW SERVICE_ROUTER_TIER0
Interfaces (IPv6 DAD Status A-Assigned, D-Duplicate, T-Tentative)
Interface : 7f07d7d8-26ae-48cb-96b1-1f14d8461a61
Ifuid : 299
Name : bp-sr0-port
Fwd-mode : IPV4_ONLY
Internal name : downlink-299
Mode : lif
Port-type : backplane
IP/Mask : 169.254.0.2/24;fe80::50:56ff:fe56:5300/64(NA)
MAC : 02:50:56:56:53:00
VNI : 65539
Access-VLAN : None
LS port : 232c2663-7173-4e0a-8a54-6a297ba71ba8
Urpf-mode : NONE
DAD-mode : LOOSE
RA-mode : RA_INVALID
Admin : up
Op_state : up
MTU : 1500
.
<一部省略>
Tier-0 GW SR2(NSX Edge2)
edge2(tier0_sr)> get interfaces
Logical Router
UUID VRF LR-ID Name Type
86666169-5d83-4ccd-96df-ed72e1c407b8 5 4100 SR-Tier-0_GW SERVICE_ROUTER_TIER0
Interfaces (IPv6 DAD Status A-Assigned, D-Duplicate, T-Tentative)
Interface : 59421559-4b24-4d07-b9d0-40e80441950c
Ifuid : 298
Name : bp-sr1-port
Fwd-mode : IPV4_ONLY
Internal name : downlink-298
Mode : lif
Port-type : backplane
IP/Mask : 169.254.0.3/25;fe80::50:56ff:fe56:5301/64(NA)
MAC : 02:50:56:56:53:01
VNI : 65539
Access-VLAN : None
LS port : cf187236-ed9d-4b7a-9985-b5aed53be234
Urpf-mode : NONE
DAD-mode : LOOSE
RA-mode : RA_INVALID
Admin : up
Op_state : up
MTU : 1500
.
<一部省略>
Tier-0 GWのSRのルーティングテーブルの確認
Tier-0 GW SR1のルーティングテーブルから20.2.2.0/24が消失したことが確認できます。
Tier-0 GW SR1(NSX Edge1)
edge1(tier0_sr)> get route
Flags: t0c - Tier0-Connected, t0s - Tier0-Static, b - BGP,
t0n - Tier0-NAT, t1s - Tier1-Static, t1c - Tier1-Connected,
t1n: Tier1-NAT, t1l: Tier1-LB VIP, t1ls: Tier1-LB SNAT,
t1d: Tier1-DNS FORWARDER, t1ipsec: Tier1-IPSec, isr: Inter-SR,
> - selected route, * - FIB route
Total number of routes: 5
t1c> * 10.1.1.0/24 [3/0] via 100.64.176.1, linked-308, 14:28:33
t0c> * 20.1.1.0/24 is directly connected, uplink-297, 14:29:40
t0c> * 100.64.176.0/31 is directly connected, linked-308, 14:28:35
t0c> * fcd4:ae0b:c612:b800::/64 is directly connected, linked-308, 14:28:36
t0c> * fe80::/64 is directly connected, linked-308, 14:28:36
Tier-0 GW SR2(NSX Edge2)
edge2(tier0_sr)> get route
Flags: t0c - Tier0-Connected, t0s - Tier0-Static, b - BGP,
t0n - Tier0-NAT, t1s - Tier1-Static, t1c - Tier1-Connected,
t1n: Tier1-NAT, t1l: Tier1-LB VIP, t1ls: Tier1-LB SNAT,
t1d: Tier1-DNS FORWARDER, t1ipsec: Tier1-IPSec, isr: Inter-SR,
> - selected route, * - FIB route
Total number of routes: 7
t1c> * 10.1.1.0/24 [3/0] via 100.64.176.1, linked-307, 13:58:21
t0c> * 20.1.1.0/24 is directly connected, uplink-297, 13:58:59
b > * 20.2.2.0/24 [20/0] via 20.1.1.103, uplink-297, 11:58:26
t0c> * 100.64.176.0/31 is directly connected, linked-307, 13:58:23
t0c> * 169.254.0.0/25 is directly connected, downlink-298, 11:58:26
t0c> * fcd4:ae0b:c612:b800::/64 is directly connected, linked-307, 13:58:23
t0c> * fe80::/64 is directly connected, linked-307, 13:58:23
Tier-0 GWのDRのルーティングテーブルの確認
Tier-0 GWのDRのルーティングテーブルに存在するデフォルトルートのネクストホップにはTier-0 GW SR1が存在し続けていることが確認できます。
NSX Manager
nsx-manager1> get logical-router dfdfaf66-b193-4c24-a49d-ecfe2e61042a route
Router/Cluster-UUID Destination Next-Hop LR-Port-Id Blackhole Blackhole-Action Route-Type Admin-Distance Admin-State-Up Route-UUID
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 0.0.0.0/0 169.254.0.3 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 250 true 952f1b1b-8e77-4cdf-971f-2d8ce010044f
169.254.0.2 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 250 true
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 169.254.0.0/25 N/A d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A CONNECTED 0 true d6668bf4-6a7c-4d8d-bb4b-fb8b2a71d940
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 20.1.1.1/32 169.254.0.2 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 0 true bd6d856a-3f49-4c59-9e69-924abd247942
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 169.254.0.0/24 N/A d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A CONNECTED 0 true 19b07713-0a2e-4f93-b388-e5f6b55e051d
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 20.1.1.0/24 169.254.0.3 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 0 true cb008413-408e-484d-b281-1f62dddf78ff
169.254.0.2 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 0 true
dfdfaf66-b193-4c24-a49d-ecfe2e61042a fe80::/64 N/A d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A CONNECTED 0 true af77e0b3-9f3c-49ca-a57e-6f7540945a38
N/A f5af4e9a-5be4-4125-9915-9cb95ce0679b false N/A CONNECTED 0 true
dfdfaf66-b193-4c24-a49d-ecfe2e61042a ::/0 fe80::50:56ff:fe56:5301 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 250 true 5e4795e8-7f8e-4d03-8b00-3a3cfd6eb065
fe80::50:56ff:fe56:5300 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 250 true
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 10.1.1.0/24 100.64.176.1 f5af4e9a-5be4-4125-9915-9cb95ce0679b false N/A T1_DOWNLINK 3 true 216df07e-c0c0-4112-959a-33d137bddfd1
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 20.1.1.2/32 169.254.0.3 d39fcf84-80b6-4323-ab1c-e48f2aac4277 false N/A NSX_CONNECTED 0 true 9f78d4cd-17b7-4017-8b14-74ee565d88e5
dfdfaf66-b193-4c24-a49d-ecfe2e61042a fcd4:ae0b:c612:b800::/64 N/A f5af4e9a-5be4-4125-9915-9cb95ce0679b false N/A CONNECTED 0 true 8a87a0fc-63e2-4541-adfe-4d88a39bafbc
dfdfaf66-b193-4c24-a49d-ecfe2e61042a 100.64.176.0/31 N/A f5af4e9a-5be4-4125-9915-9cb95ce0679b false N/A CONNECTED 0 true 6a262a49-3336-4a74-8225-a470a65f1be8
疎通確認
R1の10.1.1.1から20.2.2.23へPingを実施します。
R1の10.1.1.1から20.2.2.23へのPingが失敗することが確認できます。
R1
R1#ping 20.2.2.23 source 10.1.1.1
Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 20.2.2.23, timeout is 2 seconds:
Packet sent with a source address of 10.1.1.1
UUUUU
Success rate is 0 percent (0/5)
トレースフローの結果を見ると、トラフィックがTier-0 GW SR1に転送され、その後、ルート情報が存在しないため破棄されていることが確認できます。
コメント