H3C S6860产品VCF Fabric配置举例

目  录

1 简介

2 配置前提

3 分布式网关自动化部署典型配置举例

3.1 组网需求

3.2 配置思路

3.3 配置限制和指导

3.4 使用版本

3.5 自动部署配置

3.5.1 配置DHCP服务器

3.5.2 配置Director服务器

3.5.3 控制节点部署

3.5.4 计算节点部署

3.5.5 启动自动部署流程

3.6 验证配置

3.7 配置文件

4 相关资料

1  简介

本文档介绍了VCF Fabric自动部署功能的配置举例。

2  配置前提

本文档中的配置均是在实验室环境下进行的配置和验证，配置前设备的所有参数均采用出厂时的缺省配置。如果您已经对设备进行了配置，为了保证配置效果，请确认现有配置和以下举例中的配置不冲突。

本文假设您已了解VCF Fabric自动配置特性。

3  分布式网关自动化部署典型配置举例

3.1  组网需求

如图1所示，分布式VXLAN IP网关组网，采用Spine/Leaf架构，其中Device A、Device B为网络拓扑中的spine节点；Device C、Device D为leaf节点，即分布式VXLAN IP网关设备；Device E为border设备，也是与广域网链接的边界网关设备。Device A~Device E通过管理用以太网口与管理网络内的Director服务器、DHCP服务器、NTP服务器等连接。

要求通过VCF Fabric自动配置，实现如下需求：

·     DHCP服务器为设备动态分配10.11.113.0/24网段的IP地址；

·     Device A~Device E初次上电启动后，可根据Director服务器下发的模板文件完成Underlay自动部署。

·     在Compute node 1、Compute node 2上分别创建租户a的虚拟机VM1-1、VM1-2；，租户2的虚拟机VM2-1、VM2-2。相同VLXAN之间可以二层互通，不同VXLAN之间、VXLAN与广域网之间可以通过集中式VXLAN网关互通。

本典型配置举例中，Device A和Device B使用S12500X-AF系列交换机，Device C、Device D和Device E使用S6860系列交换机。

图1 分布式网关自动化部署组网图

3.2  配置思路

·     完成设备间、设备与服务器之间的物理连线，保证网络中的设备互通。

·     完成DHCP、TFTP和NTP服务器的相关配置，使其能正常提供服务。

·     Underlay网络的自动部署本举例使用H3C DR1000作为Director服务器，部署过程可视化，且部署完成后设备自动被纳管。有关DR1000服务器的详细介绍，请参见相关产品用户手册。本举例的3.5.2  配置Director服务器仅作参考。

·     Overlay网络的自动部署，设备侧的配置基本一致。本文举例以开源Openstack Controller系统部署为例，进行简单介绍。若采用Cloudos与VCFC控制器配合的方案，用户可参见H3C VCF Fabric解决方案指导书，或根据安装的软件版本参考官方资料。

3.3  配置限制和指导

·     分布式网关在各个leaf上，要求每个leaf的同一个VSI接口配置相同的MAC地址，以保证虚拟机迁移前后网关一致。

·     分布式网关的spine节点角色只是作为Underlay的核心转发点，不需要任何的Overlay配置。

3.4  使用版本

本举例是在S6860-CMW710-R2612版本上进行配置和验证的。

3.5  自动部署配置

3.5.1  配置DHCP服务器

DHCP服务器的设置主要包括：

·     DHCP地址池：动态分配IP地址的网段为10.11.113.0/24。

·     TFTP服务器IP地址为：10.11.113.19/24。

·     启动文件名：aaa.template。

实际设备获取的文件名会分根据角色不同和变更为aaa_leaf.template或aaa_spine.template。

3.5.2  配置Director服务器

(1)     安装Director并完成UBA、NTA（网络流量分析）等组件的安装。

(2)     安装DHCP plug，使得ADDC可以通过DHCP plug将服务器IP地址固定。

(3)     完成自动化基础信息部署，包括设置网络拓扑类型、设置网络规模、设置DHCP可提供的地址网段等。

(4)     进行网络自动化参数设置，包括网络拓扑中的主spine角色的MAC地址，主Spine设备可分配的Unerlay IP地址段，用户名、密码、用户角色、Neutron server相关参数等。

3.5.3  控制节点部署

开源Openstack控制节点部署，以下步骤仅供参考：

(1)     安装MySQL数据库；

(2)     安装RabbitMQ；

(3)     完成如下服务的安装和验证，包括增加Openstack Identity service、创建Openstack client、增加image service、nova service、neutron service。

3.5.4  计算节点部署

开源Openstack控制节点部署，以下步骤仅供参考：

(1)     安装Openstack Nova计算相关组件，openvswitch以及neutron ovs agent；

(2)     配置管理组件参数，包括IP地址、与RabbitMQ通信的用户名密码等；

(3)     重启计算节点的服务

完成计算节点的部署后，在控制节点上安装安装Dashboard，并验证计算节点的安装结果，可看到新增的计算节点Compute node1和Compute node2的记录。

3.5.5  启动自动部署流程

1. Underlay自动部署

完成网路搭建和上述服务器配置后，Device A~Device E空配置启动后会按照如下流程完成Underlay自动部署：

(1)     从DHCP服务器获取自己的管理口IP地址、TFTP服务器IP地址、模板文件名等信息。

(2)     根据自身的缺省VCF Fabric角色，从TFTP服务器下载对应的模板文件到本地。

(3)     解析模板文件，比较当前版本和模板文件中的版本号是否一致，如果不一致，则下载新的版本文件。

(4)     解析模板文件，完成基础静态配置的下发；

(5)     主spine节点Device A通过Netconf将Loopback IP等配置下发给Device B~Device E。

(6)     各设备完成spine和leaf互联口的IP配置，启动路由协议，实现三层路由可达。

2. 部署租户Overlay网络，并完成设备的自动部署

(1)     在Dashboard上创建名称为“Network”的网络。

(2)     在Dashboard上创建名称为“subnet-1”和“subnet-2”的两个子网，并配置网络地址。

(3)     在Dashboard上创建名称为“router”的路由器，并将路由器的接口与两个子网网段相绑定。

(4)     在Compute node 1和Compute node 2上分别创建VM1-1、VM1-2和VM2-1、VM2-2。

3.6  验证配置

(1)     验证Underlay拓扑收集

在spine节点Device A设备上查看VCF Fabric拓扑信息。

[DeviceA] display vcf-fabric topology

                                  Topology Information

----------------------------------------------------------------------------------

* indicates the master spine role among all spines

SpineIP           Interface                      Link LeafIP              Status

*10.11.113.51     FortyGigE1/0/1                 Up   10.11.113.61        Deploying

                  FortyGigE1/0/2                 Down --                         --

                  FortyGigE1/0/3                 Up   10.11.113.62        Deploying

                  FortyGigE1/0/4                 Down --                         --

                  FortyGigE1/0/5                 Up   10.11.113.63        Deploying

                  FortyGigE1/0/6                 Down --                         --

10.11.113.52      FortyGigE1/0/1                 Up   10.11.113.61        Deploying

                  FortyGigE1/0/2                 Down --                         --

                  FortyGigE1/0/3                 Up   10.11.113.62       Deploying

                  FortyGigE1/0/4                 Down --                         --

                  FortyGigE1/0/5                 Up   10.11.113.63        Deploying

                  FortyGiE1/0/6                 Down --                       --

(2)     验证Underlay自动配置

以分布式网关的Leaf节点设备Device C为例，查看Underlay网络配置自动化信息。

[DeviceC] display vcf-fabric underlay autoconfigure

success command:

   #

           system

           clock timezone beijing add 08:00:00

         #

           system

           lldp global enable

           lldp compliance cdp

         #

           system

           ospf 1

           non-stop-routing

           area 0.0.0.0

         #

           system

           interface LoopBack0

         #

           system

           l2vpn enable

         #

           system

           vxlan tunnel mac-learning disable

           vxlan tunnel arp-learning disable

         #

           system

           stp global enable

         #

           system

           ntp-service enable

           ntp-service unicast-server 10.11.113.136 vpn-instance mgmt

         #

           system

           netconf soap https enable

           netconf ssh server enable

           restful https enable

         #

           system

           info-center loghost vpn-instance mgmt 10.11.113.136

         #

           system

           local-user admin

           password ******

           service-type https

           authorization-attribute user-role network-admin

         #

           system

           line vty 0 63

           authentication-mode scheme

           user-role network-admin

         #

           system

           vcf-fabric topology enable

         #

           system

           neutron

           rabbit user openstack

           rabbit password ******

           rabbit host ip 10.11.113.136 vpn-instance mgmt

           restful user admin password ******

           vpn-target 1:1 export-extcommunity

           vsi-mac 789c-2f5f-0200

           network-type distributed-vxlan

           l2agent enable

           l3agent enable

         #

           system

           snmp-agent

           snmp-agent community read public

           snmp-agent community write private

           snmp-agent sys-info version all

           snmp-agent packet max-size 4096

           snmp-agent target-host trap address udp-domain 192.181.1.30 vpn-insta

nce mgmt params securityname public v2c

         #

           system

           telnet server enable

           local-user admin

           password ******

           service-type telnet http https

           authorization-attribute user-role network-admin

         #

           system

           netconf soap http enable

           netconf soap https enable

           local-user admin

           password ******

           service-type http https

           authorization-attribute user-role network-admin

         #

           system

           bgp 100

           non-stop-routing

           address-family l2vpn evpn

         #

Uplink interface:

         FortyGigE1/0/1

         FortyGigE1/0/2

IRF allocation:

         Self Bridge Mac: 00e0-fc00-5100

         IRF Status: No

         Member List: [1]

BGP peer configuration:

         10.100.16.17

         10.100.16.16

(3)     验证Overlay自动配置

以分布式网关的Leaf节点设备Device C为例，查看当前VSI配置VPN相关配置。

[DeviceC] display current-configuration configuration vsi

#

vsi vxlan10071

 gateway vsi-interface 8190

 vxlan 10071

 evpn encapsulation vxlan

  route-distinguisher auto

  vpn-target auto export-extcommunity

  vpn-target auto import-extcommunity

#

return

[DeviceC] display current-configuration interface Vsi-interface

interface Vsi-interface4091

ip binding vpn-instance neutron-1015

ip address 108.1.0.1 255.255.0.0 sub

mac-address 789c-2f5f-0200

arp mode uni

distributed-gateway local

#

[DeviceC] display ip vpn-instance

  Total VPN-Instances configured : 6

  VPN-Instance Name               RD                     Create time

  mgmt                                                   2018/04/17 08:49:59

  neutron-1016                    4227879168:1016        2018/04/17 08:50:59

  neutron-1015                    4227879168:1015        2018/04/17 08:51:01

  neutron-1018                    4227879168:1018        2018/04/17 08:51:03

  neutron-1017                    4227879168:1017        2018/04/17 08:51:07

  neutron-1021                    4227879168:1021        2018/04/17 08:51:08

(4)     验证VM之间互通

# 进入Compute node 1上的VM1-1的控制台，执行ping操作，可以ping通Compute node 2上的VM2-2。

$ ping 10.1.1.3

Ping 10.1.1.3 (10.1.1.3): 56 data bytes, press CTRL_C to break

56 bytes from 10.1.1.3: icmp_seq=0 ttl=254 time=10.000 ms

56 bytes from 10.1.1.3: icmp_seq=1 ttl=254 time=4.000 ms

56 bytes from 10.1.1.3: icmp_seq=2 ttl=254 time=4.000 ms

56 bytes from 10.1.1.3: icmp_seq=3 ttl=254 time=3.000 ms

56 bytes from 10.1.1.3： icmp_seq=4 ttl=254 time=3.000 ms

 --- Ping statistics for 10.1.1.3 ---

5 packet(s) transmitted, 5 packet(s) received, 0.0% packet loss

round-trip min/avg/max/std-dev = 3.000/4.800/10.000/2.638 ms

3.7  配置文件

Leaf 节点Device C上的Underlay的主要配置如下：

#

irf mac-address persistent always

 irf auto-update enable

 undo irf link-delay

 irf member 1 priority 1

#

 vxlan tunnel mac-learning disable

#

ospf 1

 non-stop-routing

 area 0.0.0.0

#

 lldp compliance cdp

 lldp global enable

#

interface LoopBack0

 ip address 19.1.1.254 255.255.255.255

#

interface FortyGigE1/0/1

 port link-mode route

 ip address unnumbered interface LoopBack0

 ospf network-type p2p

 ospf 1 area 0.0.0.0

 lldp compliance admin-status cdp txrx

 lldp management-address arp-learning

 lldp tlv-enable basic-tlv management-address-tlv interface LoopBack0

#

interface FortyGigE1/0/2

 port link-mode route

 ip address unnumbered interface LoopBack0

 ospf network-type p2p

 ospf 1 area 0.0.0.0

 lldp compliance admin-status cdp txrx

 lldp management-address arp-learning

 lldp tlv-enable basic-tlv management-address-tlv interface LoopBack0

#

bgp 100

 non-stop-routing

 peer 200.1.15.152 as-number 100

 peer 200.1.15.152 connect-interface LoopBack0

 peer 200.1.15.152 password cipher $c$3$CRkr6IFvbGrUgoWHuUCYfSf3XLYWbQ==

 peer 200.1.15.153 as-number 100

 peer 200.1.15.153 connect-interface LoopBack0

 peer 200.1.15.153 password cipher $c$3$NzsdiaPMbqkfL5DJsga/5QHtP+w5tg==

 #

 address-family l2vpn evpn

  peer 200.1.15.152 enable

  peer 200.1.15.153 enable

Leaf 节点Device C上的Overlay的主要配置如下：

#

ip vpn-instance neutron-1017

 route-distinguisher 4227879168:1017

 description d3ca707e-ce59-4682-b2d8-7151744993a2

 vpn-target 1017:1017 import-extcommunity

 vpn-target 1017:1017 1:1 export-extcommunity

#

ip vpn-instance neutron-1018

 route-distinguisher 4227879168:1018

 description a9c509ca-8ec3-4860-bb03-4a6c9eae2698

 vpn-target 1018:1018 import-extcommunity

 vpn-target 1018:1018 1:1 export-extcommunity

#

interface vsi-interface4088

ip binding vpn-instance neutron-1018

ip address 10.1.1.1 255.255.255.0   //该IP地址为VXLAN 10内VM的网关地址

mac-address 789c-2f5f-0200

arp mode uni

distributed-gateway local

#

interface vsi-interface4089

ip binding vpn-instance neutron-1018

ip address 10.1.11.1 255.255.255.0   //该IP地址为VXLAN 11内VM的网关地址

mac-address 789c-2f5f-0200

arp mode uni

distributed-gateway local

#

vsi vxlan10081

arp supprerssion enable

folding disable all

vxlan 10081

evpn encapsulation vlan         //创建EVPN实例，并配置自动生成EVPN实例的RD和RT

route-distinguisher auto

vpn-target auto export-extcommunity

vpn-target auto import-extcommunity

#

vsi vxlan10018

arp supprerssion enable

folding disable all

vxlan 10018

evpn encapsulation vlan         //创建EVPN实例，并配置自动生成EVPN实例的RD和RT

route-distinguisher auto

vpn-target auto export-extcommunity

vpn-target auto import-extcommunity

#

Leaf 节点Device C上的AC口的主要配置如下：

#

interface Ten-GigabieEthernet1/0/5

port link-mode bridge

lldp compliance admin-status cdp txrx

service-intance 100

encapsulation s-vid 4088

xconnect vsi vxlan10018

service-instance 101

encapsulation s-vid 4089

xconnect vsi vxlan10081

#

4  相关资料

·     H3C S6860系列以太网交换机 网络管理和监控配置指导-Release 26xx系列

·     H3C S6860系列以太网交换机 网络管理和监控命令参考-Release 26xx系列

·     H3C S12500X-AF系列以太网交换机 网络管理和监控配置指导-Release 27xx系列

·     H3C S12500X-AF系列以太网交换机 网络管理和监控命令参考-Release 27xx系列