InfinibandでLiveMigration -part1-

まいど。

ふと思い立って、我がデータセンターへInfinibandをテスト導入してみました。

まずはInfinibandとはなんぞや、的な所から。

infinibandとは

nfiniBand(インフィニバンド)とは、非常に高いRAS（信頼性・可用性・保守性)を持つ基幹系・HPC系のサーバ/クラスター用高速I/O バスアーキテクチャ及びインターコネクトのこと。システム間インターコネクト機構としては、RAS機能の他、他機構に比較して、低レイテンシーである点も特徴である。

(http://ja.wikipedia.org)

何気に10年以上前からある技術で、転送レートはSingleDataRate(SDR)で2.5Gbps双方向、DoubleDataRate(DDR)5GbpsやQuadDataRate(QDR)10Gbpsがあり、PCI-Expressのように束ねて使う事も可能で最近は一般的にx4の製品が多い。

転送には8b/10b変換(8bitのデータを10bitに変換)というのが用いられるため
理論スループットは80%になります。

SDR DDR QDR

x1 2Gbps 4Gbps 8Gbps

x4 8Gbps 16Gbps 32Gbps

x12 24Gbps 48Gbps 96Gbps

Ethernetと違い低遅延なため、スーパーコンピューターのノード間インターコネクトに用いられる事が多く、IBM等のBladeServerのブレード間の接続に利用されたりしています。
ネットワーク構成はスイッチ型ファブリック接続のネットワークなのですが、データ通信向けにIPoIB（IP over InfiniBand)というものがあり、Infinibandネットワーク上にIPネットワークを構築する事ができるようになっており、OSからはふつうのNICと同じように見えるため、アプリに手を入れる事なく使えます。

－－－－－－－－－－ｷﾘﾄﾘ－－－－－－－－－－－

という事はHyper-Vクラスタでも使えるはず！
今回ポチっとしてみたのは以下のHCA

Mellanox：HGS18-XTC

InfiniHost Ⅲ LX InfiniBand HCA
PCI Express x8
DDR ｘ4 20 Gbps

という事で、用意するもの

・鯖：ML110 G6 ×2(Hyper-Vクラスタ)
・Infiniband HCA：Mellanox HGS18-XTC
・ケーブル：CX4 SFF-8470

MellanoxのサイトからドライバをDLしてくる
今回はWin2008 R2にインストールするので
「MLNX WinOF VPI MSI v2.1.3 for x64 Platforms (26.6MB, md5sum: d6b48c1928d2d2f6a2c1b60c1cef9be7)」をDL。
ドライバのインストール、「NEXT」をクリック。
「I accept The terms in the license agreement」にチェックを入れ、「Next」をクリック。
インストールパスを指定し「Next」をクリック。
「Check this box to configure your system for
maximum 10GigE performance (Recommended)」のチェックを外し「Next」をクリック。
「Install」をクリック。
「Finish」をクリック。
サブネットマネージャーの起動
Infinibandでは、そのサブネット内に必ず一つサブネットマネージャーが存在する必要があります。サブネットマネージャーはHCAまたはスイッチに組み込まれている物やOSのサービスになっている物が存在し、サブネット内のデバイスを定期的に点検して変化があった場合検知するようになっています。
サーバーにHCAを追加し、サーバーどうしを接続しただけではInfinibandのリンクは確立されずサブネットマネージャーを実行して初めて、Infinibandのリンクが正常に確立されます。
今回インストールしたドライバにはOpenSMというwindowsサービスのサブネットマネージャーが同時にインストールされるため、接続しているサーバーのうちどれか一台で「サービスの管理」から「OpenSM」を起動する必要があります。

デフォルトでは起動しないように「無効」となっているため、「自動」に変更しサービスの「開始」をクリック。
以上で下画像のように、20GbpsのEthernetカードとして認識します。

※アダプタ名はわかりやすいように変えてあります。