ローカルLLM/AIを扱うために必要なPCスペックやその他の要件まとめです。
それぞれ専用ページを作る予定なのですが、時間をとれなかったので1ページに集めました。
この記事ではシンプルで箇条書きですが、根拠や詳細は個別ページにて書き足していく予定です。
質問などございましたらコメント欄にお願いします。
前提
ローカルPC上でAIを扱うにあたって重要なのは、
・GPU
・マザーボード
・メモリ
・電源
またPCとして当然に必須なのが
・CPU
・ケース
となります。
それぞれ見ていきましょう。
GPU
要素:
・計算性能
・VRAM容量
・VRAM帯域幅
・分厚さ
・消費電力
計算性能:
どれだけ早く計算するか。TOPSやFLOPSなど、数値が大きいほど良い。LLM推論においては最初の1トークン生成に大きく影響し、喋り始めてからはあまり関係ない（後述の帯域幅がボトルネックとなるため）。
初動の速さを最重視するなら重要だがそうでないならあまり気にしない項目。ただし学習を行う場合, 画像生成等のAIを利用する場合には大切。
VRAM（GPUメモリ）容量:
GPUに搭載されている専用メモリの容量で、AIでは最も重要な項目。単純にメモリより小さいサイズのモデルは動かせないので、この容量がどれだけ大規模なモデルを使えるかを決定する。
ただし大体の推論フレームワークでは、複数のGPUを搭載すればそのメモリを合算して扱える。
一部GPUでは同じ製品名(例えばRTX 3060)でVRAMの異なる複数モデルが売られているので注意。
VRAM帯域幅:
AIの推論速度に影響。特にLLMの場合この数値がほとんど全て。1トークン生成にモデルサイズ分の通信を行うので、帯域幅が500GB/sでモデルサイズが100GBなら1秒間の生成トークン数は5。
枚数
主には動かしたいモデルの大きさに対して必要なVRAM量を計算し、GPUを何枚買うか決める。
例えばRTX3090(24GB)+RTX4060(16GB)で合計40GB、Llama 3.1 70B_Q4の必要VRAMが39GBだからギリギリ実行でき・・・ない。
余裕をもってRTX3090+RTX4070(12GB)+RTX3070(8GB)くらいが必要。ただし複数枚のGPUが物理的にPCに入るか(マザーボードとPCケースとGPUによる)どうかを調べておく必要がある。
分厚さ
普通はほとんど気にしない要素だが重要。今の構成が物理的に組み立て可能なのか、今後GPUの追加を見込むとどうなるのか。
薄ければ薄いほどいいが、基本的に分厚いほど価格性能比がいい。
スロット（20mm弱）単位で換算し、3スロット(60mm)GPUは1スロットGPU(20mm)の3倍分厚い。
消費電力
TDP。これに対して1.5倍以上のW数を持つ電源が必要だが、電力制限をかければ省電力も可能。
おすすめの製品
RTX 3090：VRAM24GB, 帯域幅936GB, 17万円
RTX 4060 Ti 16GB：VRAM16GB, 帯域幅288GB, 7.5万円
RTX 3060 12GB：VRAM12GB, 帯域幅360GB, 4.5万円
マザーボード
要素:
・一般用/マイニング用/ワークステーション/サーバー用のどれを買うか
・規格
・PCIeスロット
・対応メインメモリ
・対応CPU
一般用/マイニング用/ワークステーション/サーバー用
基本的に一般用ボードを買う。
マイニング用を買うならGPU使用に関する全ての悩みから解放される。低性能CPUと低性能メモリにしか対応してないのが殆どだけど、高いGPUを用意すればそんなに問題ない。ただし基盤むき出し、巨大、専用電源などの問題がある。居住環境と相談。
ワークステーション/サーバー用に関しては話すことが多すぎるので別記事で。普通は価格面で不採用。
規格
マザーボードのサイズの規格。大きい順にE-ATX, ATX, MicroATX, mini-ITXと定められている。
GPUをたくさん挿したいので大型のE-ATXかATXをおすすめ。そのどちらかは好きなほうでいい。
PCIeスロット
GPUとかを挿す場所。これが多いほど多くのGPUを挿せる。x16やx4といった通信速度の差があるが体感的にほぼ影響しないので無視。
それより問題は物理的なスロットの幅。x16幅のスロットだけにGPUを挿せる。なのでとにかくx16幅のPCIEスロットがたくさんあるマザーボードを買いたい。
ATX, E-ATX規格なら理論上は最大7つのスロットが作れるが、実際はもっと少ない。そして例えば3スロット幅のGPUであれば、1スロット目に挿しただけで1～3スロットを占有してしまう。
7スロット目に挿した場合は下にはみ出るので他のスロットを邪魔しない。ただ基盤と干渉することもある。
対応メインメモリ
主にCPUが使う方のメモリとの対応。DDR5(速い)かDDR4(速くない)かDDR3(遅い)から選ぶ。
基本的にGPUを使うはずのAI推論時には関係ないが、上述のVRAMより大きいモデルをメインメモリにはみださせて実行できる場合がある。一段と遅くなるが、その中ではメモリ性能で重要な差が生まれる。
資金に余裕があればDDR-5対応のものを。なければDDR-4でも問題ない。そもそも今の時点ではVRAMに収めるのが基本。
対応CPU
購入するCPUに対応するマザーボードが必要。動画編集など特定の目的があったり先にCPUを用意してる場合はそれに合わせる。なければ、あくまでLLM推論にはほぼ関係なので好きなものにすればいい。古いと肝心のCPUが売ってないこともあるので確認だけしてから。
おすすめの製品
MSI MAG H670 TOMAHAWK WIFI DDR4：2, 5, 7スロット目にx16幅のPCIeスロットがある。
ASRock Z790 Taichi：2, 5, 7スロット目にx16幅のPCIeスロットがある。DDR5対応。
メモリ
マザーボードに対応する世代のなかで、DDR5-4800の4800みたいな数字の部分ができるだけ大きいやつを2枚だけ買っておくとメインメモリはみ出しの際に速い。しかし一般的なPCのメインメモリでの推論はまだまだ遅いのでそう気にしない。
RDIMMじゃなくてUDIMMを選ぶ。
DDR4なら2枚以上の2の倍数で好きな数、容量に合わせて。
DDR5なら必ず2枚だけセットで購入。それより少なくても多くても遅くなる。
おすすめ: Amazonで安くて評価高いやつを探す
DDR5：高速で高価格。
DDR4：DDRの半分ちょっと上くらいの速度で安価。
選べない場合
DDR5：Kingston FURY DDR5-5200
DDR4：（後で探します）
CPU
なにも気にしなくていいくらい。
ただし巨大なモデルをメインメモリにはみ出させる場合は高価なCPUを買うことで、
「ゆっ...............くり」
から
「ゆっ...........くり」
くらいに短縮できるかもしれない。
おすすめ: 使うマザーボードに対応してる安いやつ。他の用途もあればそちらに合わせて選ぶ。
電源
以上の内容から決めた各パーツに対し、それぞれのTDPを合算した数×1.5倍のW数のものを選ぶ。複数の電源をアダプタ使用して連動させることもできる。
ただし日本の一般的なコンセントは1セットあたり1500W、1部屋の合算で2000W、1物件の合算でもいくらかの制限がある。エアコン用だったら部屋とは独立して2000Wとか使えることもある。
だから基本的に〜1500Wのものを一つだけ買う。大量のGPUを搭載する場合には二部屋から２つ繋ぐとか、エアコン用電源に2000Wのものを繋ぐとか。
複数のGPUを使うときはこの電源と物件が問題になってくる。GPU側に電力制限をかければ性能は少し落ちるが可能な範囲内に収まるかも。
GOLDとかBRONZEとかは言われるほど気にすることないけど、余裕があればいいものを。
火事が怖いのでメーカー選び大事。有名どころならOK。
おすすめの製品
Thermaltake TOUGHPOWER GF3 1200W：安くて高性能、信頼のメーカー。
玄人志向 80Plus GOLD 850W：安い。信頼のメーカー。
ケース
PCの構成を決めたら、それを収まるケースを選ぶ。
基本的にみるべき点は
・どの長さのGPUに対応しているか。350～であれば確実に大丈夫
・マザーボードの(E-ATX, ATXなら)7スロット目にどれほどの空間があるか
・冷却性能
の３つ。
結論としては大きくて空気穴が多く、ホコリが入らないものほど良い。
またギリギリGPUが収まってもファンが窮屈だと性能低下することにも注意。
おすすめ
Fractal Design Meshify 2 XL TG：大きい。E-ATX/ATX対応。電源２つ入る。縦GPU配置で空間に余裕持たせられる。エアフロー良し。HDD大量に載せられる。
LIANLI O11D EVO RGB：E-ATX/ATX対応。デュアル電源対応。水平GPU対応。見た目がかっこいい。
Comments