Cluster

AMDの最新CPU、Genoaを搭載する２台のサーバーに200GbpsのInfinibandカードを搭載し、Infinibandクラスターを構築した。Infiniband Driverをインストールし、Subnet Managerを立ち上げ、最新のOpenMPIのソースコードをダウンロードしてbuild後、osu-micro-benchmarksで速度を計測してみた。ついでに、姫野ベンチで192コアでのベンチマークを撮ってみた。

本Blogで連載の「HPC Cluster構築」の手順に従って作成した、Virtual HPC Cluster USBの使い方を説明します。

USBメモリをノートPC、デスクトップPC、ワークステーション、サーバーなどに差し込んで、Boot Deviceとして選択して立ち上げます。

Virtual HPC Cluster USBを第28回計算工学講演会（つくば国際会議場）でアンケート記入で無料プレゼントします。

これまでHPC Clusterの構築方法と簡単な使い方を解説してきましたが、Virtualbox上でのことでした。Virtualboxでは所詮１台のコンピュータ上で仮想のクラスターをシミュレーションしているので、性能などには限界があります。Real マシンのクラスターで性能や使い勝手がどうなるかなど、RealマシンにVirtualbox上のクラスターを移設したくなるかもしれません。今回はこの方法を解説します。

MPIプログラムを複数ノードを使って実行させる場合、hostfileの作成や、またどのノードが何コア空いているかを調べたりするのに、手間と時間がかかり、思いついてパッと実行することができません。しかし、ジョブスケジューラを使えば、準備やチェックが全く不要で、直ぐにジョブの投入が可能です。今回は姫野ベンチのMPIバージョンを、lavaに投入する方法の実際を解説していきます。

これまでの連載でhpcクラスターを構成するために必要なソフトウェアのインストールと設定は全て終わりました。

現在のところhpcクラスターを構成するノードはhpc01とhpc02の２台だけですが、hpc02をクローンして幾つかのファイルを修正すれば、ノードを増やすことができます。

ここではhpc03とhpc04を作ってクラスターに加えることにします。

ジョブスケジューラのインストールと設定を行います。クラスターがバラバラのPC/サーバに比べて非常に便利な点に、ジョブスケジューラが使えることがあります。プログラムのパラメータや入力ファイルを少しづつ変えて、たくさん流してその結果を比較したい場合など、プログラムを多数実行したい場合は多々あります。以下では、それらのプログラムの実行をジョブと呼ぶことにします。ジョブスケジューラを使うと、多数のジョブを１つ1つ、クラスター内のコンピュータの空いているコアに実行させ、最短時間で全てのジョブの実行を完了させることができます。

１台のコンピュータではプログラムの実行速度が遅い場合、複数台のコンピュータを使って、実行速度を速くできます。そのために使われる標準的な方法がMPI(Message Passing Interface)です。ライブラリとコンパイラのラッパー、起動用のコマンドなどのセットになっていて、Ubuntuを使っていれば、簡単にインストールできます。プログラムはMPI用に書き換える必要があります。ここでは、MPIのインストールと、MPI用姫野ベンチをダウンロードしてMPI用にコンパイルしてhpc01単独、hpc01とhpc02の２台で実行の比較を行います。

ログインノード（hpc01）でユーザー登録すれば、クラスターの全ノードでそのユーザーが有効になるように設定を行います。

クラスター構築の方針ですが、まず最小構成（hpc01とhpc02）のクラスターを完成させます。その後、hpc02をコピーしてhpc03, hpc04と作っていきます。

今回は

hpc01の/homeをNFSでexportして/hpc02で読み書きできるようにします。

それだけですと、hpc02のSSDなどの空きスペースが無駄になってしまう可能性がありますので、hpc02の/homeを/home2にリネームし、他のノード(hpc01も含む）でも読み書きができるようにします。