Mellanox InfiniBand 交换机上的子网管理器 (SM) 高可用性 (HA)

　　SM HA

　　了解子网管理器 (SM) 在 Mellanox InfiniBand 交换机上的高可用性 (HA)

　　了解 Mellanox InfiniBand 交换机上的子网管理器 (SM) 高可用性 (HA)

　　本文章介绍了 Mellanox InfiniBand 交换机上的 InfiniBand SM 高可用性 (HA) 同步功能。

　　Overview

　　High Availability in InfiniBand

　　在 InfiniBand 中，只有一个 SM 管理一个 InfiniBand 子网。不过，同一子网可以启用多个 SM。在这种情况下，其中一个 SM 将被选为子网 master SM，其余的将被禁用(standby)。如果管理员 SM 因任何原因死亡，将选举另一个 SM 来管理网络。

　　可能会出现什么问题呢？

　　SM 配置文件可能不同步。例如，假设两个 IB 节点(A 和 B)启用了 SM。如果运行在 A 节点上的 SM 死了，从 B 节点选出的新 SM 将没有该配置，因此网络可能无法像以前一样运行。

　　Mellanox SM HA 解决方案(Mellanox InfiniBand 交换机)

　　在 Mellanox IB 交换机上启用 SM HA(配置同步)时，SM 数据库将与所有启用 SM 的交换机同步。

　　同步是通过以太网带外管理口 进行的。参与 SM HA 的所有交换机都应连接到同一管理子网 (同一网络)，而无需通过路由器。这是因为交换机发送的组播控制帧通常不经过路由器。

　　所有参与 Mellanox SM HA 的交换机都会加入 InfiniBand 子网 ID。一旦加入，就会启动同步 SM。其中一个节点被选为 SM 主节点，其他节点为从节点。

　　SM HA 允许系统管理员使用虚拟 IP (VIP)从单一位置输入和修改不同子网管理器的所有 InfiniBand SM 配置。所有子网管理器都可以通过该 VIP 地址进行控制、启动或停止。用户应使用 VIP 地址进行 SM 配置。在主 IP 或从 IP 上配置 SM 参数的尝试将被禁用。

　　设置

　　InfiniBand 网络有多个交换机(至少两个)。SM HA 将在交换机上启用。要测试该功能，至少需要设置两个连接在一起的交换机。

　　参与 SM HA 的所有交换机应具有相同的 CPU 类型(全部 x86 或全部 PPC)

　　所有交换机应具有相同的 MLNX-OS 版本。

　　参与 SM HA 的所有交换机都应连接到同一个管理子网 (同一个网络)，而无需通过路由器。

　　For this post, two Mellanox SX6036 FDR (36 56Gb/s port) switches (sx21 and sx22) are used, connected to each other on ports 1/1 and 1/2.

　　Planning

　　The plan is to enable SM HA on both switches.

　　We need to generate a Virtual IP address for the SM HA, as part of the management network.

　　In this example

　　Configuration

　　1. Create an SM HA cluster with planned VIP and SM HA cluster name, and Virtual IP on the first switch (sx21).

　　sx22 [standalone: master] (config) # ib ha my-sm-cluster

　　sx22 [my-sm-cluster: standby] (config) #

　　3. Enable SM on both switches (applicable only from the master).

　　sx21 [my-sm-cluster: master] (config) # ib smnode sx21 sm-priority 15

　　sx21 [my-sm-cluster: master] (config) # ib smnode sx22 sm-priority 10

　　Verification

　　1. Check the IB HA status.

　　sx21 [my-sm-cluster: master] (config) # show ib ha Global HA state ================== IB Subnet HA name: my-sm-cluster HA IP address: 10.20.2.160/16 Active HA nodes: 2 HA node local information Name: sx21 (active) <--- (local node) SM-HA state: master IP: 10.20.2.21 Virtual switch membership: infiniband-default HA node local information Name: sx22 (active) SM-HA state: standby IP: 10.20.2.22 Virtual switch membership: infiniband-default