ふと思い立って、我がデータセンターへInfinibandをテスト導入してみました。
まずはInfinibandとはなんぞや、的な所から。
infinibandとは
nfiniBand(インフィニバンド)とは、非常に高いRAS(信頼性・可用性・保守性)を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクトのこと。システム間インターコネクト機構としては、RAS機能の他、他機構に比較して、低レイテンシーである点も特徴である。
何気に10年以上前からある技術で、転送レートはSingleDataRate(SDR)で2.5Gbps双方向、DoubleDataRate(DDR)5GbpsやQuadDataRate(QDR)10Gbpsがあり、PCI-Expressのように束ねて使う事も可能で最近は一般的にx4の製品が多い。
転送には8b/10b変換(8bitのデータを10bitに変換)というのが用いられるため
理論スループットは80%になります。
SDR DDR QDR x1 2Gbps 4Gbps 8Gbps x4 8Gbps 16Gbps 32Gbps x12 24Gbps 48Gbps 96Gbps
Ethernetと違い低遅延なため、スーパーコンピューターのノード間インターコネクトに用いられる事が多く、IBM等のBladeServerのブレード間の接続に利用されたりしています。
ネットワーク構成はスイッチ型ファブリック接続のネットワークなのですが、データ通信向けにIPoIB(IP over InfiniBand)というものがあり、Infinibandネットワーク上にIPネットワークを構築する事ができるようになっており、OSからはふつうのNICと同じように見えるため、アプリに手を入れる事なく使えます。
---------- キリトリ -----------
という事はHyper-Vクラスタでも使えるはず!
今回ポチっとしてみたのは以下のHCA
Mellanox:HGS18-XTC
![]()
InfiniHost Ⅲ LX InfiniBand HCA
PCI Express x8
DDR x4 20 Gbps
という事で、用意するもの
・鯖:ML110 G6 ×2(Hyper-Vクラスタ)
・Infiniband HCA:Mellanox HGS18-XTC
・ケーブル:CX4 SFF-8470
-
MellanoxのサイトからドライバをDLしてくる
今回はWin2008 R2にインストールするので
「MLNX WinOF VPI MSI v2.1.3 for x64 Platforms (26.6MB, md5sum: d6b48c1928d2d2f6a2c1b60c1cef9be7)」をDL。 -
サブネットマネージャーの起動
Infinibandでは、そのサブネット内に必ず一つサブネットマネージャーが存在する必要があります。サブネットマネージャーはHCAまたはスイッチに組み込まれている物やOSのサービスになっている物が存在し、サブネット内のデバイスを定期的に点検して変化があった場合検知するようになっています。
サーバーにHCAを追加し、サーバーどうしを接続しただけではInfinibandのリンクは確立されずサブネットマネージャーを実行して初めて、Infinibandのリンクが正常に確立されます。
今回インストールしたドライバにはOpenSMというwindowsサービスのサブネットマネージャーが同時にインストールされるため、接続しているサーバーのうちどれか一台で「サービスの管理」から「OpenSM」を起動する必要があります。
デフォルトでは起動しないように「無効」となっているため、「自動」に変更しサービスの「開始」をクリック。
今回はここまで、次回早速InfinibandでLiveMigration゜+.(・∀・)゜+.゜
ピンバック: Unlimited Root 0.5.1 » InfinibandでLiveMigration -part2-