InfinibandでLiveMigration -part1-

まいど。
image

ふと思い立って、我がデータセンターへInfinibandをテスト導入してみました。

まずはInfinibandとはなんぞや、的な所から。

infinibandとは

nfiniBand(インフィニバンド)とは、非常に高いRAS(信頼性・可用性・保守性)を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクトのこと。システム間インターコネクト機構としては、RAS機能の他、他機構に比較して、低レイテンシーである点も特徴である。

(http://ja.wikipedia.org)

何気に10年以上前からある技術で、転送レートはSingleDataRate(SDR)で2.5Gbps双方向、DoubleDataRate(DDR)5GbpsやQuadDataRate(QDR)10Gbpsがあり、PCI-Expressのように束ねて使う事も可能で最近は一般的にx4の製品が多い。

転送には8b/10b変換(8bitのデータを10bitに変換)というのが用いられるため
理論スループットは80%になります。

  SDR DDR QDR
x1 2Gbps 4Gbps 8Gbps
x4 8Gbps 16Gbps 32Gbps
x12 24Gbps 48Gbps 96Gbps

Ethernetと違い低遅延なため、スーパーコンピューターのノード間インターコネクトに用いられる事が多く、IBM等のBladeServerのブレード間の接続に利用されたりしています。
ネットワーク構成はスイッチ型ファブリック接続のネットワークなのですが、データ通信向けにIPoIB(IP over InfiniBand)というものがあり、Infinibandネットワーク上にIPネットワークを構築する事ができるようになっており、OSからはふつうのNICと同じように見えるため、アプリに手を入れる事なく使えます。

---------- キリトリ -----------

という事はHyper-Vクラスタでも使えるはず!
今回ポチっとしてみたのは以下のHCA

Mellanox:HGS18-XTC
image
InfiniHost Ⅲ LX InfiniBand HCA
PCI Express x8
DDR x4 20 Gbps

 

という事で、用意するもの

・鯖:ML110 G6 ×2(Hyper-Vクラスタ)
・Infiniband HCA:Mellanox HGS18-XTC
・ケーブル:CX4 SFF-8470

  1. MellanoxのサイトからドライバをDLしてくる
    今回はWin2008 R2にインストールするので
    MLNX WinOF VPI MSI v2.1.3 for x64 Platforms (26.6MB, md5sum: d6b48c1928d2d2f6a2c1b60c1cef9be7)」をDL。
    image
  2. ドライバのインストール、「NEXT」をクリック。
    image
  3. 「I accept The terms in the license agreement」にチェックを入れ、「Next」をクリック。
    imageimage
  4. インストールパスを指定し「Next」をクリック。
    image
  5. 「Check this box to configure your system for
    maximum 10GigE performance (Recommended)」のチェックを外し「Next」をクリック。
    image
  6. 「Install」をクリック。
    imageimage
  7. 「Finish」をクリック。
    image
  8. サブネットマネージャーの起動
    Infinibandでは、そのサブネット内に必ず一つサブネットマネージャーが存在する必要があります。サブネットマネージャーはHCAまたはスイッチに組み込まれている物やOSのサービスになっている物が存在し、サブネット内のデバイスを定期的に点検して変化があった場合検知するようになっています。
    サーバーにHCAを追加し、サーバーどうしを接続しただけではInfinibandのリンクは確立されずサブネットマネージャーを実行して初めて、Infinibandのリンクが正常に確立されます。
    今回インストールしたドライバにはOpenSMというwindowsサービスのサブネットマネージャーが同時にインストールされるため、接続しているサーバーのうちどれか一台で「サービスの管理」から「OpenSM」を起動する必要があります。
    image
    デフォルトでは起動しないように「無効」となっているため、「自動」に変更しサービスの「開始」をクリック。
  9. 以上で下画像のように、20GbpsのEthernetカードとして認識します。
    image
    ※アダプタ名はわかりやすいように変えてあります。

今回はここまで、次回早速InfinibandでLiveMigration゜+.(・∀・)゜+.゜

カテゴリー: Network, Windows Server タグ: , パーマリンク

InfinibandでLiveMigration -part1- への1件のフィードバック

  1. ピンバック: Unlimited Root 0.5.1 » InfinibandでLiveMigration -part2-

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です