Openstack Neutron网络实验-02

本文将继续介绍在将Openstack的nova实例连接到外网过程中网络拓扑的变化。

上一篇文《Openstack Neutron网络实验-01》中在Openstack中创建了以下内容：

租户网络test-net，包含子网：test-net-subnet，并启用了dhcp。
虚机实例test-vm1，并接入网络test-net。
路由器router01, 并接入子网test-net-subnet。

0. 准备-宿主机网络介绍

按照《使用vagrant和virtualbox搭建openstack集群》安装完Openstack后，两台宿主机os-ctl1和os-cpu1可通过网口eth0使用NAT访问外部网络，ip是virtualbox自动分配的10.0.2.15/24。而网口eth1则作为两台宿主机之间的通信和管理使用，ip由Vagrantfile中的网络配置指定。

本次实验的目的使得虚机实例test-vm1能够访问外部网络，任务是要创建一个External Network将之前创建的租户网络接入到网络节点os-ctl1的网口eth0。

1. 创建外部网络

在Openstack上创建一个外部网络，菜单路径为：Admin -> Network -> Networks -> Create Network。

注意：仅能在Admin菜单下才能创建External Network, Project菜单下只能创建租户内部网络

填入如下参数：

Name：external-net
Project：admin
Provider Network Type: Flat
Physical Network: extnet，该参数为物理网络的标识，需要和Neutron配置文件中的定义一致，packstack的安装参数文件中默认定义如下，表示extnet这个物理网络实际上由br-ex网桥承载。
- CONFIG_NEUTRON_OVS_BRIDGE_MAPPINGS=extnet:br-ex
- CONFIG_NEUTRON_OVS_EXTERNAL_PHYSNET=extnet
Subnet Name: external-net-subnet
Network Address: 10.0.2.0/24，该参数应和实际的物理网络情况相符，VirtualBox的NAT网络默认使用10.0.2.0/24。
Gateway IP: 10.0.2.2，该参数应和实际的物理网络情况相符，VirtualBox的NAT网络默认网关为10.0.2.2。
Enable DHCP: False，该网络中的IP由实际物理网络决定，不需要Openstack的DHCP agent分配。

创建External Network后，网络节点拓扑没有变化。和test-net不一样，external-net没有启用DHCP, 所以其端口列表为空。

2. 将外部网络接入租户Router

将之前创建的租户router01的网关设置为新创建的外部网络，由于上一篇中这个Router已经连接了内部网络test-net，设置网关后将使得两个网络连通起来。

菜单路径为：Project -> Network -> Routers -> router01 -> Set GateWay。填入如下参数：

External Network：external-net
Enable SNAT: True，打开SNAT使得从租户网络出去的数据包的源地址被转换成外部网络地址。

# ovs-vsctl show
...
    Bridge br-int
        Controller "tcp:127.0.0.1:6633"
            is_connected: true
        fail_mode: secure
        Port int-br-ex
            Interface int-br-ex
                type: patch
                options: {peer=phy-br-ex}
        Port "tape68eed07-f5"
            tag: 1
            Interface "tape68eed07-f5"
                type: internal
        Port patch-tun
            Interface patch-tun
                type: patch
                options: {peer=patch-int}
        Port "qg-95f2615e-cd"
            tag: 9
            Interface "qg-95f2615e-cd"
                type: internal
        Port br-int
            Interface br-int
                type: internal
        Port "qvo5d07f509-f1"
            tag: 1
            Interface "qvo5d07f509-f1"
        Port "qr-9516320e-52"
            tag: 1
            Interface "qr-9516320e-52"
                type: internal
...
# ip netns exec qrouter-7d360e8e-e392-4def-816b-f92f7e5f9bc5 ip address
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
12: qr-9516320e-52: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN qlen 1000
    link/ether fa:16:3e:f6:ec:e8 brd ff:ff:ff:ff:ff:ff
    inet 172.16.2.1/24 brd 172.16.2.255 scope global qr-9516320e-52
       valid_lft forever preferred_lft forever
    inet6 fe80::f816:3eff:fef6:ece8/64 scope link
       valid_lft forever preferred_lft forever
24: qg-95f2615e-cd: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN qlen 1000
    link/ether fa:16:3e:22:4c:c8 brd ff:ff:ff:ff:ff:ff
    inet 10.0.2.10/24 brd 10.0.2.255 scope global qg-95f2615e-cd
       valid_lft forever preferred_lft forever
    inet6 fe80::f816:3eff:fe22:4cc8/64 scope link
       valid_lft forever preferred_lft forever
# ip netns exec qrouter-7d360e8e-e392-4def-816b-f92f7e5f9bc5 netstat -nr
Kernel IP routing table
Destination     Gateway         Genmask         Flags   MSS Window  irtt Iface
0.0.0.0         10.0.2.2        0.0.0.0         UG        0 0          0 qg-95f2615e-cd
10.0.2.0        0.0.0.0         255.255.255.0   U         0 0          0 qg-95f2615e-cd
172.16.2.0      0.0.0.0         255.255.255.0   U         0 0          0 qr-9516320e-52

拓扑图如下：

进入虚机，发现可以ping通网关新增的接口10.0.2.10，但是外部网关没有ping通。

$ ping 10.0.2.10
PING 10.0.2.10 (10.0.2.10): 56 data bytes
64 bytes from 10.0.2.10: seq=0 ttl=64 time=8.391 ms

--- 10.0.2.10 ping statistics ---
1 packets transmitted, 1 packets received, 0% packet loss
round-trip min/avg/max = 8.391/8.391/8.391 ms
$ ping 10.0.2.2
PING 10.0.2.2 (10.0.2.2): 56 data bytes

--- 10.0.2.2 ping statistics ---
1 packets transmitted, 0 packets received, 100% packet loss

3. 将访问外部网络的网口eth0加入网桥br-ex中

上述定义的外部网络extnet被映射到了OVS网桥，即Openstack实例将通过网桥br-ex访问外部网络，因此我们需要将网络节点用于访问外部网络的eth0接口加入到br-ex网桥中。

# ovs-vsctl add-port br-ex eth0
# ovs-vsctl show
...
    Bridge br-ex
        Controller "tcp:127.0.0.1:6633"
            is_connected: true
        fail_mode: secure
        Port "eth0"
            Interface "eth0"
        Port br-ex
            Interface br-ex
                type: internal
        Port phy-br-ex
            Interface phy-br-ex
                type: patch
                options: {peer=int-br-ex}
...

进入虚机，确认外部网关10.0.2.2已经外网Google DNS IP 8.8.8.8均能ping通。

$ ping 10.0.2.2
PING 10.0.2.2 (10.0.2.2): 56 data bytes
64 bytes from 10.0.2.2: seq=0 ttl=62 time=1.752 ms

--- 10.0.2.2 ping statistics ---
1 packets transmitted, 1 packets received, 0% packet loss
round-trip min/avg/max = 1.752/1.752/1.752 ms
$ ping 8.8.8.8
PING 8.8.8.8 (8.8.8.8): 56 data bytes
64 bytes from 8.8.8.8: seq=2 ttl=36 time=126.277 ms

--- 8.8.8.8 ping statistics ---
3 packets transmitted, 1 packets received, 66% packet loss
round-trip min/avg/max = 126.277/126.277/126.277 ms

4. 配置提供对外访问的网口

eth0加入网桥后，必须将其ip配到网桥br-ex上，否则外部无法访问这个IP，呈现为两个问题：

floating ip无法访问openstack实例，因为网络节点没有floating ip的路由。
vagrant ssh无法登陆宿主机。

修改/etc/sysconfig/network-scripts/下的ifcfg-br-ex和ifcfg-eth0文件，内容如下，然后重启网络服务

$ sudo vi /etc/sysconfig/network-scripts/ifcfg-br-ex
$ sudo cat /etc/sysconfig/network-scripts/ifcfg-br-ex
DEVICE=br-ex  
OVSBOOTPROTO=dhcp
ONBOOT=yes  
NM_CONTROLLED=no  
TYPE=OVSBridge
DEVICETYPE=ovs
PERSISTENT_DHCLIENT=yes
OVSDHCPINTERFACES=eth0
$ sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0
$ sudo cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0  
ONBOOT=yes  
NM_CONTROLLED=no  
TYPE=OVSPort
DEVICETYPE=ovs
OVS_BRIDGE=br-ex
$ sudo systemctl restart network

上述配置使得eth0在启动时加入到br-ex网桥中，而br-ex网桥通过eth0进行dhcp获取ip，即VirtualBox分配的10.0.2.15/24。这些配置应该在安装部署Openstack的时候完成，如果使用packstack安装，可以通过设置以下参数指定：

CONFIG_NEUTRON_OVS_BRIDGE_IFACES=br-ex:eth0

5. 分配浮动IP

到此为止，我们已经成功在Openstack中创建了两个网络，并且通过路由器将其连通。当前两个网络如下图显示：

接入外部网络的时候启用了SNAT，因此当数据包由内网发往外网时，路由器会将数据包的源地址转换为外网地址，不同实例的源地址可共享同一个外网地址，即router01的external-net地址10.0.2.10。

但是当数据包由外网发往内网时，则需要使用DNAT协议将目的地址转换为内网地址，此时，每个实例的内网地址均需对应一个外网地址才能供外部访问。

菜单路径为：Project -> Network -> Floating IPs -> Allocate IP to Project。填入如下参数：

Pool: external-net

分配完成后对该IP点击“Associate”，将其绑定到实例test-vm1中。

绑定完成后，可以看到新分配的外网IP 10.0.2.11被映射到了内网IP 172.16.2.7。

实际上，浮动IP的分配是在router的iptables中添加了一条NAT规则：

# ip netns exec qrouter-7d360e8e-e392-4def-816b-f92f7e5f9bc5 iptables-save -t nat
...
-A neutron-l3-agent-OUTPUT -d 10.0.2.11/32 -j DNAT --to-destination 172.16.2.7
...

5. 修改Security Group

菜单路径为：Project -> Network -> Security Groups -> “default” -> “Manage Rules” -> “Add Rule”。

添加ICMP和SSH两项规则：

Rule: ALL ICMP
Rule: SSH

在宿主机上分别使用ping和ssh访问test-vm1实例，均能成功。

# ping 10.0.2.11
PING 10.0.2.11 (10.0.2.11) 56(84) bytes of data.
64 bytes from 10.0.2.11: icmp_seq=1 ttl=63 time=7.74 ms
^C
--- 10.0.2.11 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 7.747/7.747/7.747/0.000 ms
$ ssh cirros@10.0.2.11  
cirros@10.0.2.11's password:
$ exit
Connection to 10.0.2.11 closed.

实际上，Security Group通过修改网络节点的iptables来实现防火墙功能：

# iptables-save | grep neutron-openvswi        
...
-A neutron-openvswi-i5d07f509-f -p icmp -j RETURN
...
-A neutron-openvswi-i5d07f509-f -p tcp -m tcp --dport 22 -j RETURN
...
-A neutron-openvswi-sg-chain -m physdev --physdev-out tap5d07f509-f1 --physdev-is-bridged -m comment --comment "Jump to the VM specific chain." -j neutron-openvswi-i5d07f509-f
-A neutron-openvswi-sg-chain -m physdev --physdev-in tap5d07f509-f1 --physdev-is-bridged -m comment --comment "Jump to the VM specific chain." -j neutron-openvswi-o5d07f509-f
-A neutron-openvswi-sg-chain -j ACCEPT
...

上述规则的意思是指对于在neutron-openvswi-i5d07f509-f链中匹配到了icmp和ssh数据包，返回到其父链neutron-openvswi-sg-chain中继续判断，而父链neutron-openvswi-sg-chain中将接受所有的数据包。

问题：

如果把eth0加入到br-int桥，无法访问外网，为什么？