Evaluation
RTX 6000 Ada 1, 2, 4 GPU vs RTX 4090 1, 2, 4 GPU vs A6000 1, 2, 4 GPU
RTX 6000 Adaを1, 2, 4, GPU 使い、batch size を64, 128, 256, 512, 1024 と変化させてtf_cnn_benchmarks での学習速度を計測しました。
modelは、resnet50, inception3, vgg16, nasnet, resnet152, inception4です。
fp16とfp32の学習速度を計測しました。
以前測定したRTX A6000と比較してどれほど高速になったかを掲載します。Geforce RTX 4090との比較も掲載します。
GPUサーバー選択の参考になれば幸いです。
RTX4090 1, 2, 4 GPU vs RTX3090 1,2,4 GPU for DeepLearning
GeForce RTX 4090を1, 2, 4 GPU 使い、batch size を64, 128, 256, 512と変化させてtf_cnn_benchmarks での学習速度を計測しました。RTX3090との比較も掲載してあります。
modelは、resnet50, inception3, vgg16, nasnet, resnet152, inception4です。
fp16とfp32の学習速度を計測しました。
2GPU: GeForce RTX 4090 の nvidia-smi と deviceQuery
HPCDIY-ERMGPU8R4S（こちら）に GeForce RTX 4090 を 2 枚実装して、nvidia-smi と deviceQuery を実行してみました。
GeForce RTX 4090 ２台でgpu_burn を実行した際の最高温度を測定してみた
GeForce RTX 4090 ２台がテスト用に入荷してきたので、HPCDIY-ERMGPU8R4S に GeForce RTX 4090 を 2 枚実装して、gpu_burnを実行して、最大温度がどの程度のものか調べてみました。
8GPU: A6000 の nvidia-smi と deviceQuery
HPCDIY-ERMGPU8R4S（こちら）に A6000 を 8 枚実装して、nvidia-smi と deviceQuery を実行してみました。
A6000 1, 2, 4, 8 GPUでの網羅的な tf_cnn_benchmarks 計測
A6000を1, 2, 4, 8 GPU 使い、batch size を64, 128, 256, 512, 1024 と変化させてtf_cnn_benchmarks での学習速度を計測しました。
modelは、resnet50, inception3, vgg16, nasnet, resnet152, inception4です。
fp16とfp32の学習速度を計測しました。
RTX3090 1, 2, 4, 8 GPUでの網羅的な tf_cnn_benchmarks 計測
GeForce RTX 3090を1, 2, 4, 8 GPU 使い、batch size を64, 128, 256, 512と変化させてtf_cnn_benchmarks での学習速度を計測しました。
modelは、resnet50, inception3, vgg16, nasnet, resnet152, inception4です。
fp16とfp32の学習速度を計測しました。
A6000 x8 と RTX3090 x8 を tf_cnn_benchmarks で学習速度を比較する
GeForceでは最強のRTX 3090と、NVIDIA RTX A6000とは価格差はかなりありますが（2021年7月12日現在、¥329,220 vs ¥589,850,
お値引前の消費税抜き当サイト価格）、性能差はどの程度なのか、8GPU並列までの性能を、tf_cnn_benchmarksを使って比較してみました。
4GPU: 再計測 GeForce RTX 3090 Deep Learning Benchmarks
再計測（NGCのtensorflow:20.10-tf1-py3使用）GeForce RTX 3090 の Deep Learning 学習での性能評価のため、HPCDIY-ERM1GPU4TS に４枚実装して、tensorflow で tf_cnn_benchmarks.py（ダウンロートはこちら）を実行してみました。
前回（こちら）より良い成績になりました。
CPU: AMD EPYC Rome 7252 DP/UP 8C/16T 3.1G 64M 120W, Memory: 128GB, SSD: NVMe M.2 512GB
NVIDIA Driver: 455.32.00
TensorFlow: nvcr.io/nvidia/tensorflow:20.10-tf1-py3
2GPU: NVIDIA A100 Deep Learning Benchmarks
NVIDIA A100 PCIe 40GB の Deep Learning 学習での性能評価のため、HPCDIY-ERMGPU8R4S に2枚実装して、tensorflow で tf_cnn_benchmarks.py（ダウンロートはこちら）を実行してみました。
CPU: 2x AMD EPYC Rome 7302 DP/UP 16C/32T 3.0G 128M 155W, Memory: 512GB, SSD: NVMe U.2 1.92TB
NVIDIA Driver: 455.32.00
TensorFlow: nvcr.io/nvidia/tensorflow:20.10-tf1-py3
