VSCodeでRocky linux8.5へSSH時に詰まった話

タイトルままですが、VScodeから仮想環境に立てたRocky linux8.5へSSHするのに失敗して少し萎えた話です。
結果から言えば、"tar"コマンドがインストールされていなかったことが原因でした。
初期インストール時に、minimalでインストールしたのですが、"tar"入っていないのですね。
接続失敗時のログをしっかり読むか、.vscode-server以下を調べればすぐに気づけたと思うのですが...
うん、まあなんか面倒臭かったので...いい教訓になりました。

NetworkManagerからOpen vSwitchを作成する

Open vSwitchを作成する時は、ovsコマンドを使用することが一般的だと思いますが、NetworkManagerが稼働している環境だとNetworkManagerから全部設定したいなあと思うことがあります。
というのも、ovsコマンドから作成したinterfaceにIPを設定するためには、NetworkManagerからでなく別途ifcfgファイルを手動で作成して適用する必要があるからです。(私の知見不足で他に方法があるかもしれませんが) よって、nmcliからovsの作成・設定をする方法を調べたのでメモとして残しておきます。

インストール

nmcliからovsを作成するには、openvswitchの他に、NetworkManager-ovsをインストールする必要があります。
※openvswitchは既にinstall済み

dnf install NetworkManager-ovs

インストール後、NetworkManagerを再起動します。再起動しないと私の環境では正常に動作しませんでした。

systemctl restart NetworkManager

設定

NetworkManagerからovsを作成する場合、bridge, port, interfaceをそれぞれ作成しなければなりません。
ovs-vsctlコマンドとは異なり、自動的には作成してもらえないようです。
最初に、bridge作成します。

nmcli con add type ovs-bridge ifname br-data

次に、port, interfaceを作成します。 masterは、portの場合はbridge名、interfaceの場合は、port名を入力します。
全部同じ名前でもいいですが、紛らわしかったので今回はport名だけ変更しました。
また、interfaceを作成する際に、IPの無効化の設定をしています。
この設定をしないと、接続プロファイルがactiveにならないので、しばらくすると自動的にovsがdownします。

nmcli con add type ovs-port ifname br-data-p01 master br-data
nmcli con add type ovs-interface slave-type ovs-port ifname br-data master br-data-p01 \
 ipv4.method disabled \
 ipv6.method disabled

IPを設定する場合は下記のように設定します。
tag設定する場合は、ovs-port.tag のように記載します。

nmcli con add type ovs-port ifname ovs-vlan10 master br-data ovs-port.tag 10
nmcli con add type ovs-interface slave-type ovs-port ifname vlan10 master ovs-vlan10 \
 ipv4.method manual ipv4.address 192.168.10.1/24 \
 ipv4.gateway 192.168.10.254 \
 ipv4.dns 8.8.8.8 \
 ipv4.never-default no \
 ipv6.method disabled

nmcli con add type ovs-port ifname ovs-vlan20 master br-data ovs-port.tag 20
nmcli con add type ovs-interface slave-type ovs-port ifname vlan20 master ovs-vlan20 \
 ipv4.method manual ipv4.address 192.168.20.1/24 \
 ipv4.gateway 192.168.20.254 \
 ipv4.never-default yes \
 ipv6.method disabled

最後に、物理IFをovs-interfaceとしてbridgeに組み込みます。
この際にportも作成する必要があります。 下記例では、ovs-port.vlan-mode <vlan-mode名> でportに設定するvlan-modeをnative-untaggedに変更しています。
併せてtag 20を設定しているので、tag無pktを受信すると、vlan20のpktとして扱うという動きになります。 (送信時もtagを付けない)

nmcli con add type ovs-port ifname ovs-ens19 master br-data \
 ovs-port.vlan-mode native-untagged \
 ovs-port.tag 20
nmcli con add type ethernet ifname ens19 master ovs-ens19

これで 設定ができたので、確認してみます。
まずは、openvswitchから見てみます。

[root@test ~]# ovs-vsctl show
02cadfc2-10dd-441b-8fa7-ed1861a84a4d
    Bridge br-data
        Port ovs-vlan10
            tag: 10
            Interface vlan10
                type: internal
        Port ovs-vlan20
            tag: 20
            Interface vlan20
                type: internal
        Port br-data-p01
            Interface br-data
                type: internal
        Port ovs-ens19
            tag: 20
            Interface ens19
                type: system
    ovs_version: "2.15.3"

[root@test ~]# ovs-vsctl list port ovs-ens19
_uuid               : adc42cb6-aa53-4efd-ab6e-e2de791fa075
bond_active_slave   : []
bond_downdelay      : 0
bond_fake_iface     : false
bond_mode           : []
bond_updelay        : 0
cvlans              : []
external_ids        : {NM.connection.uuid="5a3bc8ff-b87b-451d-a4c8-05b8c8736570"}
fake_bridge         : false
interfaces          : [de7bfab3-b883-4b76-89fe-2014179f8eff]
lacp                : []
mac                 : []
name                : ovs-ens19
other_config        : {}
protected           : false
qos                 : []
rstp_statistics     : {}
rstp_status         : {}
statistics          : {}
status              : {}
tag                 : 20
trunks              : []
vlan_mode           : native-untagged

正常に作成されているようです。

次にnmcliの接続プロファイル とデバイスを見てみます。
作成時にcon-name でプロファイル名を指定していないので、少し分かり難いですね。

[root@test ~]# nmcli con show --active
NAME                   UUID                                  TYPE           DEVICE
ovs-slave-vlan10       2b96a544-042e-4b08-b83d-a967c8ff8a85  ovs-interface  vlan10
ovs-slave-vlan20       08bf6c74-931f-4a49-b292-eaf3e92c4043  ovs-interface  vlan20
ovs-bridge-br-data     02cfc6ed-7642-4355-9d11-92505aa84fa0  ovs-bridge     br-data
ovs-slave-br-data      95a93f76-4bca-4062-812a-d1d357b72a97  ovs-interface  br-data
ovs-slave-br-data-p01  15d1690e-6df4-4a1f-b0b4-391ba9fd4ca9  ovs-port       br-data-p01
ovs-slave-ens19        80e4dcaa-a75b-4108-8063-52699eeccc44  ethernet       ens19
ovs-slave-ovs-ens19    5a3bc8ff-b87b-451d-a4c8-05b8c8736570  ovs-port       ovs-ens19
ovs-slave-ovs-vlan10   3c9f7b44-9272-4520-b7bc-f51e1428daa7  ovs-port       ovs-vlan10
ovs-slave-ovs-vlan20   101c0c92-577a-466a-8777-a2eb16ffe714  ovs-port       ovs-vlan20

[root@test ~]# nmcli dev
DEVICE       TYPE           STATE                   CONNECTION
vlan10       ovs-interface  connected               ovs-slave-vlan10
vlan20       ovs-interface  connected               ovs-slave-vlan20
ens19        ethernet       connected               ovs-slave-ens19
br-data      ovs-bridge     connected               ovs-bridge-br-data
br-data      ovs-interface  connected               ovs-slave-br-data
br-data-p01  ovs-port       connected               ovs-slave-br-data-p01
ovs-ens19    ovs-port       connected               ovs-slave-ovs-ens19
ovs-vlan10   ovs-port       connected               ovs-slave-ovs-vlan10
ovs-vlan20   ovs-port       connected               ovs-slave-ovs-vlan20
lo           loopback       unmanaged               --

最後にデバイスの状態とルート情報を確認します。

[root@test ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
2: ens19: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel master ovs-system state UP group default qlen 1000
    link/ether 5e:51:07:e8:5e:77 brd ff:ff:ff:ff:ff:ff
17: ovs-system: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether ce:ec:57:ab:6c:ec brd ff:ff:ff:ff:ff:ff
18: br-data: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ether 12:4b:c8:a3:f0:4a brd ff:ff:ff:ff:ff:ff
19: vlan10: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ether 72:e9:5a:79:65:55 brd ff:ff:ff:ff:ff:ff
    inet 192.168.10.1/24 brd 192.168.10.255 scope global noprefixroute vlan10
       valid_lft forever preferred_lft forever
20: vlan20: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ether 4e:e4:59:08:94:3e brd ff:ff:ff:ff:ff:ff
    inet 192.168.20.1/24 brd 192.168.20.255 scope global noprefixroute vlan20
       valid_lft forever preferred_lft forever

[root@test ~]# ip r
default via 192.168.10.254 dev vlan10 proto static metric 801
192.168.10.0/24 dev vlan10 proto kernel scope link src 192.168.10.1 metric 801
192.168.20.0/24 dev vlan20 proto kernel scope link src 192.168.20.1 metric 802

問題ないようですね。
疎通確認は面倒臭いので省略します。
今回は上手くできましたが、下記参考文献にある通りovsの機能を全てサポートしているわけではないようなので、使用する機能が対応しているか事前に確認する必要がありそうです。

参考文献

https://manpages.debian.org/testing/network-manager/nm-settings.5.en.html#ovs-port_setting
https://manpages.debian.org/testing/openvswitch-common/ovs-vsctl.8.en.html
https://man.archlinux.org/man/extra/networkmanager/nm-openvswitch.7.en
http://www.openvswitch.org//ovs-vswitchd.conf.db.5.pdf

TungstenFabric (Contrail) controllerにopenstack clientをインストールする

前回、TungstenFabric + Openstack をdeployしたので、設定をしていきたいところですが、GUIでポチポチするのも手間なのでCLIでの設定を試したいと思います。
CLIで設定するには、tungstenfabricやopenstackのapiを叩けばいいのですが、ものによってはkeystoneでの認証が必要のため、予めTokenを取得してcmdのヘッダに付与する必要があります。
Tokenを取得する方法としては、openstack コマンドがありますが、前回のdeploy方法だとopenstackコマンドが使えません。※
その為、openstack client をインストールすることで、openstack コマンドを使用可能にし、cmdからAPIを叩けるようにします。

※openstack controllerで稼働している"kolla_toolbox"というコンテナにログインし、admin-openrc.shを読み込むことで使えますが、毎度コンテナからというのも手間なので

docker exec -it kolla_toolbox bash
source /var/lib/kolla/config_files/admin-openrc.sh

設定

TungstenFabric Controllerに、virtualenvをインストールし作成した仮想環境の中にpipでopenstack clientをインストールします。

yum install -y gcc python-devel
python2.7 -m pip install virtualenv
python2.7 -m virtualenv venv-osp-client
source venv-osp-client/bin/activate
pip install python-openstackclient python-ironicclient

openstack client では、複数のファイルでqueue モジュールを使用していますが、queueモジュールはpython2とpython3で名称が変化しています。

Python2系: Queue
Python3系: queue

今回の環境では、Python2.7を使用している為、下記のファイルを置換する必要があります。

sed -i -e "s/import queue/import Queue/g" /root/venv-osp-client/lib/python2.7/site-packages/openstack/utils.py
sed -i -e "s/import queue/import Queue/g" /root/venv-osp-client/lib/python2.7/site-packages/openstack/cloud/openstackcloud.py

次に、OpenStack クライアント環境スクリプトを作成します。

cat << 'EOF' > admin-openrc.sh
export OS_PROJECT_DOMAIN_NAME=Default
export OS_USER_DOMAIN_NAME=Default
export OS_PROJECT_NAME=admin
export OS_TENANT_NAME=admin
export OS_USERNAME=admin
export OS_PASSWORD=contrail123
export OS_AUTH_URL=http://192.168.0.10:35357/v3
export OS_INTERFACE=internal
export OS_IDENTITY_API_VERSION=3
export OS_REGION_NAME=RegionOne
export OS_AUTH_PLUGIN=password
export OS_BAREMETAL_API_VERSION=1.29

export PS1="${PS1-}(o $OS_USERNAME $OS_PROJECT_NAME)]\$ "
EOF

作成後に、source コマンドで読み込みます。

source admin-openrc.sh 

これで、openstackコマンドが使用可能になったので、Tokenが取得可能になりました。

TOKEN=$(openstack token issue | awk '/ id/{print $4}')
echo $TOKEN

Kolla AnsibleでOpenStack + TungstenFabric (Contrail) deploy

Kolla Ansibleを使用してTungstenFabric (Contrail) + OpenStackをdeployする手順はGitHubJuniperが公開している手順に記載されていますが、所々情報が古く少し苦戦したので、設定例をメモ。

構成

下記図の通り。

f:id:g1Ri:20220103010639p:plain

MultiNode & Multi interfaceで試したかったので各Controllerは3台構成で2nic持たせている。
インスタンスのcpu/memory/disk設定は下記。
推奨スペックよりも低いが自宅環境のマシンだと下記が限界だった。
スペックに余裕がある場合は多めに割り当てたほうが無難。

deployer: 1CPU/2GB/10GB
OpenStack Controller: 4CPU/12GB/100GB
TungstenFabric Controller: 4CPU/16GB/100GB
ComputeNode: 4CPU/8GB/100GB

設定

インスタンスの初期設定を実施した後deployerにて下記編集。

provider_config:
  bms:
    ssh_user: admin
    ssh_private_key: /root/.ssh/id_rsa
    ssh_public_key: /root/.ssh/id_rsa.pub
    domainsuffix: local
instances:
  ctr01:
    provider: bms
    ip: 192.168.0.11
    roles:
      openstack:
  ctr02:
    provider: bms
    ip: 192.168.0.12
    roles:
      openstack:
  ctr03:
    provider: bms
    ip: 192.168.0.13
    roles:
      openstack:
  tf01:
    provider: bms
    ip: 192.168.0.14
    roles:
      config_database:
      config:
      control:
      analytics_database:
      analytics:
      analytics_alarm:
      analytics_snmp:
      webui:
  tf02:
    provider: bms
    ip: 192.168.0.15
    roles:
      config_database:
      config:
      control:
      analytics_database:
      analytics:
      analytics_alarm:
      analytics_snmp:
      webui:
  tf03:
    provider: bms
    ip: 192.168.0.16
    roles:
      config_database:
      config:
      control:
      analytics_database:
      analytics:
      analytics_alarm:
      analytics_snmp:
      webui:
  cmp01:
    provider: bms
    ip: 192.168.0.17
    roles:
      vrouter:
      openstack_compute:
  cmp02:
    provider: bms
    ip: 192.168.0.18
    roles:
      vrouter:
      openstack_compute:
global_configuration:
  CONTAINER_REGISTRY: tungstenfabric
contrail_configuration:
  UPGRADE_KERNEL: False
  CONTRAIL_VERSION: "2020-08-21-stable"
  CONTRAIL_CONTAINER_TAG: "2020-08-21-stable"
  CONTROLLER_NODES: 192.168.0.14,192.168.0.15,192.168.0.16
  CONTROL_NODES: 172.16.0.14,172.16.0.15,172.16.0.16
  CLOUD_ORCHESTRATOR: openstack
  VROUTER_GATEWAY: 172.16.0.254
  KEYSTONE_AUTH_HOST: 192.168.0.10
  KEYSTONE_AUTH_URL_VERSION: /v3
  KEYSTONE_AUTH_URL: http://192.168.0.10:35357/v3
  OPENSTACK_VERSION: queens
  AUTH_MODE: keystone
  RABBITMQ_NODE_PORT: 5673
  CONFIG_DATABASE_NODEMGR__DEFAULTS__minimum_diskGB: 20
  DATABASE_NODEMGR__DEFAULTS__minimum_diskGB: 20
  PHYSICAL_INTERFACE: vlan10
  JVM_EXTRA_OPTS: "-Xms1g -Xmx2g"
  BGP_ASN: 64512
kolla_config:
  customize:
    nova.conf: |
      [libvirt]
      virt_type=qemu
      cpu_mode=none
  kolla_globals:
    enable_haproxy: yes
    enable_ironic: no
    enable_swift: no
    contrail_api_interface_address: 192.168.0.14,192.168.0.15,192.168.0.16
    kolla_internal_vip_address: 192.168.0.10
    kolla_external_vip_address: 172.16.0.10
  kolla_passwords:
    keystone_admin_password: contrail123

deploy

上記設定後、deployerにて下記実行。

ansible-playbook -i inventory/ -e orchestrator=openstack playbooks/configure_instances.yml -vv
ansible-playbook -i inventory/ -e orchestrator=openstack playbooks/install_openstack.yml -vv
ansible-playbook -i inventory/ -e orchestrator=openstack playbooks/install_contrail.yml -vv

正常に完了すれば、下記のようにOpenstackのUI (Horizon)とTungstenFabric (Contrail) のUIにアクセスできる。

f:id:g1Ri:20220109222936p:plain

f:id:g1Ri:20220109222954p:plain