今回はTier-1 GWとTier-0 GWを接続する方法と検証証跡をまとめました。
概要
Tier-1 GWとTier-0 GWの接続について
前回の記事で少し触れましたが、NSX-Tには、ルーティング機能を提供するコンポーネントとしてTier-1 GWとTier-0 GWが存在します。一般的にTier-1 GWはテナント単位、Tier-0 GWはシステム単位で使用します。
Tier-1 GWに収容している仮想マシンをTier-0 GW側と通信させたい場合、Tier-1 GWとTier-0 GWを接続する必要があります。
GUI上でTier-1 GWをTier-0 GWに接続した際、自動的にTier-1 GWとTier-0 GW間を接続するための専用のSegmentが生成されます。このSegmentのことをTransit RL(Router Link)と呼びます。
Transit RLの生成後、自動的にTier-1 GWとTier-0 GWはTransit RLに接続されます。Transit RLには100.64.0.0/16(IANAにおいてISP用に予約されているShared Address Space)の範囲から/31のセグメントが自動的に割り当てられます。
また、Tier-1 GWのルーティングテーブルにはTier-0 GWをネクストホップとしたデフォルトルートが自動的にインポートされます。
一方、Tier-0 GWのルーティングテーブルにインポートするTier-1 GW側のセグメントは管理者が明示的に指定します。
検証結果
検証内容、構成
ESXi1とESXi2をTransport Zoneに参加させ、ESXi1とESXi2に跨るL2オーバレイネットワークを構築します。
Segment 1をTier-1 GW、Segment 2をTier-0 GWに接続します。
Tier-1 GWとTier-0 GW間を接続し、10.1.1.0/24と10.2.2.0/24間で通信できるようにします。
アンダーレイの物理スイッチではGENEVEの通信をVLAN 100に収容します。
ネットワーク機器のCLIの設定
vlan 100
!
interface GigabitEthernet1/0/1
switchport access vlan 100
switchport mode access
!
interface GigabitEthernet1/0/2
switchport access vlan 100
switchport mode access
interface GigabitEthernet2
ip address 10.1.1.1 255.255.255.0
!
ip route 0.0.0.0 0.0.0.0 10.1.1.254
interface GigabitEthernet2
ip address 10.1.1.2 255.255.255.0
!
ip route 0.0.0.0 0.0.0.0 10.1.1.254
interface GigabitEthernet2
ip address 10.2.2.3 255.255.255.0
!
ip route 0.0.0.0 0.0.0.0 10.2.2.254
Tier-0 GWの作成
Transit RL用のサブネットは、Tier-0 GWの作成時にのみデフォルト値から変更可能です。Tier-0 GWの作成後にTransit RL用のサブネットは変更不可です。
Tier-0 GWとSegment間の接続
Tier-0 GWとSegment 2を接続したタイミングで、Segment 2の仮想マシンが存在するESXi1にのみTier-0 GWのDRが生成されます。
Segment側で接続先のTier-0 GWとゲートウェイ用のアドレスを指定します。
Tier-0 GWとSegment接続後の状態確認
トポロジーの確認(NSX ManagerのGUI)
Tier-0 GWとSegment 2が接続していることが確認できます。
Tier-0 GWのDRの状態確認(NSX ManagerのCLI)
Tier-0 GWのDRが生成されていることが確認できます。
nsx-manager1> get logical-routers
LR-ID LR-Name Router-Type ClusterId UUID
0x5 DR-Tier-0_GW DISTRIBUTED_ROUTER_TIER0 04cd766f-040a-4a98-bd78-cc9681a804e3
0x4 DR-Tier-1_GW DISTRIBUTED_ROUTER_TIER1 e7d6ab0b-ac7d-4d6e-a43e-ea45d2ec9a81
Tier-0 GWのDRとSegment 2が接続していることが確認できます。
nsx-manager1> get logical-router 04cd766f-040a-4a98-bd78-cc9681a804e3 interfaces
Interface IP Urpf-Mode Admin-State-Up UUID
bp-dr-port 169.254.0.1/24 PORT_CHECK false 8570c827-4040-4b16-a480-f1b1b78679c3
fe80::50:56ff:fe56:4452/64
infra-Segment2-dlrp 10.2.2.254/24 STRICT_MODE true 785be9b0-4980-41af-92a8-83e6ddad0681
#Segment2の情報
nsx-manager1> get logical-switch bca61dfa-7cac-49c9-8618-42f0beefc48f ports
LogSwitchPort-ID LogSwitch-ID Child-UUID Child-EntityType TransportNode-ID
992fcbd9-6258-4fd7-b579-21f12c114137 bca61dfa-7cac-49c9-8618-42f0beefc48f a6963934-fcad-4f8b-bf0d-93d669509478 Vif 12eabcd6-77ee-4d25-a57c-32ec97c638ea
47cbc1c8-3be5-4fb6-bf47-832f1429630d bca61dfa-7cac-49c9-8618-42f0beefc48f 785be9b0-4980-41af-92a8-83e6ddad0681 LogicalRouterPort 12eabcd6-77ee-4d25-a57c-32ec97c638ea
Tier-0 GWのDRのルーティングテーブルにSegment 2の10.2.2.0/24が存在することが確認できます。
nsx-manager1> get logical-router 04cd766f-040a-4a98-bd78-cc9681a804e3 route
Router/Cluster-UUID Destination Next-Hop LR-Port-Id Blackhole Blackhole-Action Route-Type Admin-Distance Admin-State-Up Route-UUID
04cd766f-040a-4a98-bd78-cc9681a804e3 169.254.0.0/25 N/A 8570c827-4040-4b16-a480-f1b1b78679c3 false N/A CONNECTED 0 false 353be094-cbbb-4c97-921f-82cdec450257
04cd766f-040a-4a98-bd78-cc9681a804e3 fe80::/64 N/A 8570c827-4040-4b16-a480-f1b1b78679c3 false N/A CONNECTED 0 false 7c65ce03-c3e2-4934-97a4-ea57cd62e455
04cd766f-040a-4a98-bd78-cc9681a804e3 10.2.2.0/24 N/A 785be9b0-4980-41af-92a8-83e6ddad0681 false N/A CONNECTED 0 true c99704c7-93c1-447c-b5d9-bc7e7ac1f216
04cd766f-040a-4a98-bd78-cc9681a804e3 169.254.0.0/24 N/A 8570c827-4040-4b16-a480-f1b1b78679c3 false N/A CONNECTED 0 false 4eee8dad-3c0f-4609-83eb-8a0a2b74c74d
ESXiホストのNSX-Tの状態確認(ESXiホストのNSX-T CLI)
現状、ESXi1にのみTier-0 GWのDRが生成されていることが確認できます。
esxi1.local.com> get logical-routers
Logical Routers Summary
------------------------------------------------------------
VDR UUID LIF num Route num
04cd766f-040a-4a98-bd78-cc9681a804e3 1 1 <--- Tier-0 GWのDR
e7d6ab0b-ac7d-4d6e-a43e-ea45d2ec9a81 1 1 <--- Tier-1 GWのDR
esxi2.local.com> get logical-routers
Logical Routers Summary
------------------------------------------------------------
VDR UUID LIF num Route num
e7d6ab0b-ac7d-4d6e-a43e-ea45d2ec9a81 1 1 <--- Tier-1 GWのDR
Tier-1 GWとTier-0 GWの接続
Tier-1 GWとTier-0 GWを接続すると、Transit RLの生成、Transit RLとTier-0/1 GWのDR間の接続、Tier-0/1 GWのDRへのアドレスの割り当てが自動で行われます。
また、このタイミングでESXi2にもTier-0 GWのDRとSegment2が生成されます。
Tier-1 GW側で接続先のTier-0 GWを指定します。
Tier-1 GWとTier-0 GW接続後の状態確認
トポロジーの確認(NSX ManagerのGUI)
Tier-1 GWとTier-0 GWが接続していることが確認できます。
Transit RLの状態確認(NSX ManagerのCLI)
Transit RL用のSegmentが生成されていることが確認できます。
nsx-manager1> get logical-switches
VNI UUID Name Type
65536 e2c4e3e4-74b1-4dd6-bad2-8ec1bd5f8ab0 Segment1 DEFAULT
65538 427a58d9-3556-490d-ba8a-3df8c5d3db6b transit-rl-e7d6ab0b-ac7d-4d6e-a43e-ea45d2ec9a81 TRANSIT
65537 bca61dfa-7cac-49c9-8618-42f0beefc48f Segment2 DEFAULT
Tier-1 GWとTransit RLの接続状態の確認(NSX ManagerのCLI)
Tier-1 GWのDRにTransit RL用のインタフェースが追加されていることが確認出来ます。また、Tier-1 GWのDRがTransit RL用のSegmentと接続していることが確認できます。
nsx-manager1> get logical-router e7d6ab0b-ac7d-4d6e-a43e-ea45d2ec9a81 interfaces
Interface IP Urpf-Mode Admin-State-Up UUID
bp-dr-port 169.254.0.1/28 PORT_CHECK false 715bcbfc-6019-4d64-b802-cc24bfb8a778
fe80::50:56ff:fe56:4452/64
infra-Segment1-dlrp 10.1.1.254/24 STRICT_MODE true 0c9b9592-4af2-46ad-83b3-9582775f4543
Tier-0_GW-Tier-1_GW-t1_lrp 100.64.224.1/31 NONE true d6443a5c-6267-4ba8-bcc7-479f426d5bdf
fce3:ca36:c331:b800::2/64
fe80::50:56ff:fe56:4455/64
#Transit RLの情報
nsx-manager1> get logical-switch 427a58d9-3556-490d-ba8a-3df8c5d3db6b ports
LogSwitchPort-ID LogSwitch-ID Child-UUID Child-EntityType TransportNode-ID
1ace4a3f-e12e-4fa9-937b-ce02b6761107 427a58d9-3556-490d-ba8a-3df8c5d3db6b d6443a5c-6267-4ba8-bcc7-479f426d5bdf LogicalRouterPort af6f1ca6-7d47-488d-a220-744bd83ffc72
12eabcd6-77ee-4d25-a57c-32ec97c638ea
d7ed3c8b-86b0-45d6-a290-d54e1f30738b 427a58d9-3556-490d-ba8a-3df8c5d3db6b 5229c134-a760-4446-ac97-80060ca80369 LogicalRouterPort af6f1ca6-7d47-488d-a220-744bd83ffc72
12eabcd6-77ee-4d25-a57c-32ec97c638ea
Tier-0 GWのDRとTransit RLの接続状態の確認(NSX ManagerのCLI)
Tier-0 GWのDRにTransit RL用のインタフェースが追加されていることが確認出来ます。また、Tier-0 GWのDRがTransit RL用のSegmentと接続していることが確認できます。
nsx-manager1> get logical-router 04cd766f-040a-4a98-bd78-cc9681a804e3 interfaces
Interface IP Urpf-Mode Admin-State-Up UUID
bp-dr-port 169.254.0.1/24 PORT_CHECK false 8570c827-4040-4b16-a480-f1b1b78679c3
fe80::50:56ff:fe56:4452/64
infra-Segment2-dlrp 10.2.2.254/24 STRICT_MODE true 785be9b0-4980-41af-92a8-83e6ddad0681
Tier-0_GW-Tier-1_GW-t0_lrp 100.64.224.0/31 PORT_CHECK true 5229c134-a760-4446-ac97-80060ca80369
fce3:ca36:c331:b800::1/64
fe80::50:56ff:fe56:4452/64
#Transit RLの情報
nsx-manager1> get logical-switch 427a58d9-3556-490d-ba8a-3df8c5d3db6b ports
LogSwitchPort-ID LogSwitch-ID Child-UUID Child-EntityType TransportNode-ID
1ace4a3f-e12e-4fa9-937b-ce02b6761107 427a58d9-3556-490d-ba8a-3df8c5d3db6b d6443a5c-6267-4ba8-bcc7-479f426d5bdf LogicalRouterPort af6f1ca6-7d47-488d-a220-744bd83ffc72
12eabcd6-77ee-4d25-a57c-32ec97c638ea
d7ed3c8b-86b0-45d6-a290-d54e1f30738b 427a58d9-3556-490d-ba8a-3df8c5d3db6b 5229c134-a760-4446-ac97-80060ca80369 LogicalRouterPort af6f1ca6-7d47-488d-a220-744bd83ffc72
12eabcd6-77ee-4d25-a57c-32ec97c638ea
Tier-0/1 GWのDRのルーティングテーブルの確認(NSX ManagerのCLI)
Tier-1 GWのDRのルーティングテーブルにTier-1 GWのDRをネクストホップとしたデフォルトルートが存在することが確認出来ます。
nsx-manager1> get logical-router e7d6ab0b-ac7d-4d6e-a43e-ea45d2ec9a81 route
Router/Cluster-UUID Destination Next-Hop LR-Port-Id Blackhole Blackhole-Action Route-Type Admin-Distance Admin-State-Up Route-UUID
e7d6ab0b-ac7d-4d6e-a43e-ea45d2ec9a81 fe80::/64 N/A d6443a5c-6267-4ba8-bcc7-479f426d5bdf false N/A CONNECTED 0 true 80dd1a87-167e-40a5-8a8c-3f49619bc2cf
N/A 715bcbfc-6019-4d64-b802-cc24bfb8a778 false N/A CONNECTED 0 false
e7d6ab0b-ac7d-4d6e-a43e-ea45d2ec9a81 ::/0 fce3:ca36:c331:b800::1 d6443a5c-6267-4ba8-bcc7-479f426d5bdf false N/A NSX_STATIC 3 true e2afd3a4-509a-4853-b58f-74edb6779613
e7d6ab0b-ac7d-4d6e-a43e-ea45d2ec9a81 169.254.0.0/28 N/A 715bcbfc-6019-4d64-b802-cc24bfb8a778 false N/A CONNECTED 0 false 9dd8178d-316e-4e96-88e0-8844db14ac48
e7d6ab0b-ac7d-4d6e-a43e-ea45d2ec9a81 100.64.224.0/31 N/A d6443a5c-6267-4ba8-bcc7-479f426d5bdf false N/A CONNECTED 0 true 7832036a-4a0c-4ab7-8d02-c88f7d436cf5
e7d6ab0b-ac7d-4d6e-a43e-ea45d2ec9a81 0.0.0.0/0 100.64.224.0 d6443a5c-6267-4ba8-bcc7-479f426d5bdf false N/A NSX_STATIC 3 true 1c97d4c2-e817-47c7-ae16-3c06069c6e81
e7d6ab0b-ac7d-4d6e-a43e-ea45d2ec9a81 10.1.1.0/24 N/A 0c9b9592-4af2-46ad-83b3-9582775f4543 false N/A CONNECTED 0 true a3ea2471-4676-49a3-a8a5-6c3472a8a35a
e7d6ab0b-ac7d-4d6e-a43e-ea45d2ec9a81 fce3:ca36:c331:b800::/64 N/A d6443a5c-6267-4ba8-bcc7-479f426d5bdf false N/A CONNECTED 0 true 2cc73b74-f7e8-4ae6-8953-887c325618a9
一方、Tier-0 GWのDRのルーティングテーブルにはTier-1 GWのDRと接続しているSegment 1の10.1.1.0/24が存在しないことが確認できます。
nsx-manager1> get logical-router 04cd766f-040a-4a98-bd78-cc9681a804e3 route
Router/Cluster-UUID Destination Next-Hop LR-Port-Id Blackhole Blackhole-Action Route-Type Admin-Distance Admin-State-Up Route-UUID
04cd766f-040a-4a98-bd78-cc9681a804e3 fce3:ca36:c331:b800::/64 N/A 5229c134-a760-4446-ac97-80060ca80369 false N/A CONNECTED 0 true 41b4b2b5-21f5-4644-a1f9-d52cb3b58a21
04cd766f-040a-4a98-bd78-cc9681a804e3 169.254.0.0/25 N/A 8570c827-4040-4b16-a480-f1b1b78679c3 false N/A CONNECTED 0 false 353be094-cbbb-4c97-921f-82cdec450257
04cd766f-040a-4a98-bd78-cc9681a804e3 fe80::/64 N/A 8570c827-4040-4b16-a480-f1b1b78679c3 false N/A CONNECTED 0 false 7c65ce03-c3e2-4934-97a4-ea57cd62e455
N/A 5229c134-a760-4446-ac97-80060ca80369 false N/A CONNECTED 0 true
04cd766f-040a-4a98-bd78-cc9681a804e3 100.64.224.0/31 N/A 5229c134-a760-4446-ac97-80060ca80369 false N/A CONNECTED 0 true ab4fd59a-ac33-4643-945e-4f3fad83e66e
04cd766f-040a-4a98-bd78-cc9681a804e3 10.2.2.0/24 N/A 785be9b0-4980-41af-92a8-83e6ddad0681 false N/A CONNECTED 0 true c99704c7-93c1-447c-b5d9-bc7e7ac1f216
04cd766f-040a-4a98-bd78-cc9681a804e3 169.254.0.0/24 N/A 8570c827-4040-4b16-a480-f1b1b78679c3 false N/A CONNECTED 0 fals 4eee8dad-3c0f-4609-83eb-8a0a2b74c74d
ESXiホストのNSX-Tの状態確認(ESXiホストのNSX-T CLI)
ESXi1とESXi2の両方でTier-0 GWのDRが生成されていることが確認できます。
esxi1.local.com> get logical-routers
Logical Routers Summary
------------------------------------------------------------
VDR UUID LIF num Route num
04cd766f-040a-4a98-bd78-cc9681a804e3 2 65535 <--- Tier-0 GWのDR
e7d6ab0b-ac7d-4d6e-a43e-ea45d2ec9a81 2 65534 <--- Tier-1 GWのDR
esxi2.local.com> get logical-routers
Logical Routers Summary
------------------------------------------------------------
VDR UUID LIF num Route num
04cd766f-040a-4a98-bd78-cc9681a804e3 2 3 <--- Tier-0 GWのDR
e7d6ab0b-ac7d-4d6e-a43e-ea45d2ec9a81 2 65534 <--- Tier-1 GWのDR
vCenterのvDSの状態確認(vCenterのGUI)
vCenter側ではTransit RL用のSegmentが確認できないことが分かります。
Tier-1 GW側のルート情報をTier-0 GWに広報
Tier-0 GWのDRに対してTier-1 GWのDRに収容されているSemgnetのルート情報を広報するにはルートアドバタイズの接続されているすべてのセグメントおよびサービスポートオプションを有効にします。
Tier-1 GW側のルート情報をTier-0 GWに広報後の状態確認
Tier-0 GWのDRのルーティングテーブルの確認(NSX ManagerのCLI)
Tier-0 GWのDRのルーティングテーブルを見ると、Tier-1 GWのDRをネクストホップとした10.1.1.0/24が存在することが確認出来ます。
nsx-manager1> get logical-router 04cd766f-040a-4a98-bd78-cc9681a804e3 route
Router/Cluster-UUID Destination Next-Hop LR-Port-Id Blackhole Blackhole-Action Route-Type Admin-Distance Admin-State-Up Route-UUID
04cd766f-040a-4a98-bd78-cc9681a804e3 fce3:ca36:c331:b800::/64 N/A 5229c134-a760-4446-ac97-80060ca80369 false N/A CONNECTED 0 true 41b4b2b5-21f5-4644-a1f9-d52cb3b58a21
04cd766f-040a-4a98-bd78-cc9681a804e3 169.254.0.0/25 N/A 8570c827-4040-4b16-a480-f1b1b78679c3 false N/A CONNECTED 0 false 353be094-cbbb-4c97-921f-82cdec450257
04cd766f-040a-4a98-bd78-cc9681a804e3 fe80::/64 N/A 8570c827-4040-4b16-a480-f1b1b78679c3 false N/A CONNECTED 0 false 7c65ce03-c3e2-4934-97a4-ea57cd62e455
N/A 5229c134-a760-4446-ac97-80060ca80369 false N/A CONNECTED 0 true
04cd766f-040a-4a98-bd78-cc9681a804e3 100.64.224.0/31 N/A 5229c134-a760-4446-ac97-80060ca80369 false N/A CONNECTED 0 true ab4fd59a-ac33-4643-945e-4f3fad83e66e
04cd766f-040a-4a98-bd78-cc9681a804e3 10.2.2.0/24 N/A 785be9b0-4980-41af-92a8-83e6ddad0681 false N/A CONNECTED 0 true c99704c7-93c1-447c-b5d9-bc7e7ac1f216
04cd766f-040a-4a98-bd78-cc9681a804e3 169.254.0.0/24 N/A 8570c827-4040-4b16-a480-f1b1b78679c3 false N/A CONNECTED 0 fals 4eee8dad-3c0f-4609-83eb-8a0a2b74c74d
04cd766f-040a-4a98-bd78-cc9681a804e3 10.1.1.0/24 100.64.224.1 5229c134-a760-4446-ac97-80060ca80369 false N/A T1_DOWNLINK 3 true 77e8afb8-6af5-4134-8692-ef0693fb2e61
Tier-1 GW側のルート情報をTier-0 GWに広報後の疎通確認
ESXiホスト内で完結する通信(R1-R3間の通信)
R1の10.1.1.1からR3の10.2.2.3へPingを実施します。
R1の10.1.1.1からR3の10.2.2.3へのPingが成功することが確認できます。これより、Tier-1 GWとTier-0 GW間でパケットが転送されていることが確認できます。
R1#ping 10.2.2.3 source 10.1.1.1
Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 10.2.2.3, timeout is 2 seconds:
Packet sent with a source address of 10.1.1.1
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/2 ms
トレースフローの結果を見ると、Transit RL経由でTier-1 GWのDRからTier-0 GWのDRへパケットが転送されていることが確認できます。
補足として、以下はR1の10.1.1.1からR3の10.2.2.3へのTracerouteの実行結果になります。Tracerouteの結果にTransit RLのアドレスが含まれることが確認できます。
R1# traceroute 10.2.2.3 source 10.1.1.1
Type escape sequence to abort.
Tracing the route to 10.2.2.3
VRF info: (vrf in name/id, vrf out name/id)
1 10.1.1.254 0 msec 0 msec 1 msec
2 100.64.224.0 0 msec 0 msec 1 msec
3 10.2.2.3 1 msec * 1 msec
2台のESXiホストに跨る通信(R2-R3間)
R2の10.1.1.2からR3の10.2.2.3へPingを実施します。
R2の10.1.1.2からR3の10.2.2.3へのPingが成功することが確認できます。
R2#ping 10.2.2.3 source 10.1.1.2
Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 10.2.2.3, timeout is 2 seconds:
Packet sent with a source address of 10.1.1.2
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/2 ms
以下は物理ネットワーク側でキャプチャしたR2の10.1.1.2からR3の10.2.2.3へのICMP Echoになります。GeneveヘッダにSegment 2のVNI 65537が格納されていることが確認できます。
トレースフローの結果を見ると、ESXi2において、Tier-1 GWのDRとTier-0 GWのDR経由でSegment 2にパケットをルーティングしてから、Geneveでパケットをカプセル化し、物理ネットワーク側にパケットを転送していることが確認できます。
Asymmetric IRBの動作を確認するために、R3の10.2.2.3からR2の10.1.1.2への戻りのトラフィックの状態を確認します。
以下は物理ネットワーク側でキャプチャしたR3の10.2.2.3からR2の10.1.1.2へのICMP Echo Replyになります。GeneveヘッダにSegment 1のVNI 65536が格納されていることが確認できます。
トレースフローの結果を見ると、ESXi1において、Tier-0 GWのDR、Tier-1 GWのDR経由でSegment 1にパケットをルーティングしてから、Geneveでパケットをカプセル化し、物理ネットワーク側にパケットを転送していることが確認できます。
コメント