ローカルLLMを動かすPC・GPUの選び方｜VRAMから逆算する構成と予算

ローカルLLMを自分のPCで動かしたい、という相談を受けたとき、最初に確認するのは「どのモデルを、どのくらいの速さで動かしたいか」です。ここが決まらないまま高性能なGPUを買うと、ゲーム用途では速いのにLLMでは容量が足りず動かない、という食い違いが起きます。この記事では、動かしたいモデルからハードウェアを逆算する考え方を、VRAM(グラフィックメモリ)容量を軸に整理します。価格は時期により変動するため、金額は目安として扱ってください。

まず「動かしたいモデル」から決める#

ローカルLLMの構成は、CPUやGPUのカタログスペックから積み上げるのではなく、動かしたいモデルのサイズ(パラメータ数)から逆算するのが確実です。モデルの重みがメモリに載りきらないと、そもそも実用的な速度では動きません。逆に、載りさえすれば古めのGPUでも一定の速度で動くことが多いです。

判断の順序は、次のようになります。

最重要はコア速度よりVRAM容量#

ゲーム用GPUを選ぶときは描画性能(フレームレート)を見ますが、ローカルLLMではまずVRAM容量を見ます。モデルの重みとKVキャッシュ(会話の文脈を保持する領域)がVRAMに収まって初めて、GPUの速さが生きてきます。収まらない分をシステムメモリ(通常のRAM)に逃がすと、速度が大きく落ちます。

つまり、コアが速くてもVRAMが小さいGPUは、大きなモデルでは容量の壁に当たります。同じ世代・同じ予算帯なら、VRAMが大きい型番を優先するのが基本方針です。GDEP SolutionsやHarmonic Societyのガイドでも、VRAM容量を選定の起点に置く考え方が共通して示されています。

4bit量子化でメモリを圧縮する#

そのままのモデル(16bit精度)は重く、必要メモリが大きくなります。そこで実務でよく使われるのが量子化です。重みの精度を落としてサイズを圧縮する手法で、なかでもQ4_K_Mに代表される4bit量子化は、必要メモリを元のおよそ4分の1に抑えつつ、体感の精度低下を小さく保てるバランスの良い選択肢としてよく使われます。llama.cppやOllamaといった実行環境が、この量子化済みモデル(GGUF形式など)を手軽に扱えるようにしています。

ざっくりした目安として、4bit量子化ではパラメータ10億個あたりおよそ0.5GB強のメモリが必要になり、これに文脈保持用のKVキャッシュや処理のオーバーヘッドが数GB上乗せされます。同じモデルでも量子化の強さやコンテキスト長で必要量は変わるため、下記の数字は幅を持った目安として使ってください。

モデルサイズ別のVRAM目安#

4bit量子化を前提にした、大まかな起点です。実際の必要量は量子化の強さ・コンテキスト長・実装で変動するので、余裕を持たせて考えます。

7B級は8GBのGPUでも動かせる場面が多く、まず試すには十分です。実務で複数のモデルを比べたいなら、16GBあると13B〜14B級まで扱えて選択肢が広がります。70B級を1枚のGPUで完結させようとすると価格が跳ね上がるため、そこは後述のMacや、必要なときだけクラウドを使う判断も現実的です。

GPUの選び方(ゲームのランキングで選ばない)#

ローカルLLM向けにGPUを選ぶときは、ゲームのフレームレート比較ではなく、VRAM容量とその世代のメモリ帯域を見ます。16GBクラスは、CUDA(NVIDIA環境)でローカルLLMを始める入り口として扱いやすく、13B〜14B級までを狙えます。より大きなモデルや高速化を求めるなら、24GB以上を積む上位型番や、フラッグシップ帯を検討する流れになります。

まずは16GBクラスから入り、必要に応じて上位帯へ、という段階的な考え方が、予算面でも無理がありません。

GeForce RTX 5060 Ti 16GB(グラフィックボード)

広告

VRAM16GBクラスの入り口として扱いやすい現行世代のカードです。7B〜14B級を4bit量子化で動かす想定の、ローカルLLM入門〜実務の最初の一枚という位置づけ。まず容量を確保したい人向けで、より大きなモデルを常用するなら上位帯やMacも比較してください。

Amazonで見る楽天で見るYahoo!ショッピングで見る

※価格・在庫は変動します。最新の情報は各販売サイトでご確認ください。

メモリ(システムRAM)と電源も確認する#

GPUのVRAMが主役ですが、システムメモリ(RAM)も無視できません。モデルの読み込みや、VRAMに載りきらない分の一時的な退避、複数アプリの同時利用を考えると、32GB以上あると安心です。CPUだけで小さなモデルを動かす場合や、一部をシステムメモリに逃がす構成では、RAMの容量と速度がそのまま体感速度に効いてきます。

デスクトップ用 DDR5 32GB メモリ(16GB×2枚組)

広告

現行世代のデスクトップ向けDDR5メモリの2枚組(デュアルチャネル)構成です。ローカルLLMを動かすPCのシステムメモリとして、32GBは実務での余裕ラインの目安。対応規格(DDR5/DDR4)と最大容量はマザーボードの仕様に合わせて選んでください。

Amazonで見る楽天で見るYahoo!ショッピングで見る

※価格・在庫は変動します。最新の情報は各販売サイトでご確認ください。

Mac(統合メモリ)という選択肢#

もう一つのルートがApple SiliconのMacです。CPUとGPUが同じメモリ(統合メモリ / ユニファイドメモリ)を共有する設計のため、メモリ容量の大きいモデルを選べば、単体GPUでは高価になりがちな大きめのモデルも1台で動かしやすいのが特徴です。省電力・静音で、常時起動の実験機としても扱いやすい面があります。

一方で、GPUが確保できるメモリの上限はOS側で管理され、生成の初動(プロンプト処理)などGPUコア性能が効く場面では、NVIDIAの上位GPUに比べて速度面で差が出ることもあります。どちらが向くかは、動かしたいモデルのサイズと、速度・消費電力・予算のどれを優先するかで変わります。

Mac mini(Apple Silicon・統合メモリ)

広告

統合メモリ機の入り口として扱いやすいデスクトップです。メモリ構成を大きめにすると、単体GPUでは容量的に厳しいモデルも1台で試しやすいのが利点。省電力で常時起動の実験機にも向きます。動かしたいモデルサイズに対してメモリ容量が足りるかを基準に構成を選んでください。

Amazonで見る楽天で見るYahoo!ショッピングで見る

※価格・在庫は変動します。最新の情報は各販売サイトでご確認ください。

現実的な妥協点の作り方#

すべてを一度にそろえる必要はありません。多くの場合、次のような段階的な進め方が無駄が出にくいです。まず7B〜14B級を16GBクラスのGPUかMacで動かして用途に合うか確かめ、精度が足りなければモデルを大きくし、その時点で足りない容量分を増強します。70B級を常用したいと分かってから初めて、大容量のMacや上位GPU、あるいは必要なときだけクラウドを併用する、という順番です。最初から最大構成を狙うより、動かしながら必要量を見極めるほうが、結果的にコストを抑えられます。

よくある質問#

まとめ#

ローカルLLMのPC選びは、速さの数字を追うより、動かしたいモデルからVRAM容量を逆算するほうが失敗しません。まず小さいモデルで用途を確かめ、必要になった分だけ容量を足していく。この順番を守れば、過剰投資も容量不足も避けやすくなります。構成に迷ったら、この記事の目安表とチェックリストを起点に、自分の用途に引きつけて判断してみてください。

本文中のVRAM目安・必要メモリの数値は、量子化の強さ・コンテキスト長・実行環境で変動する概算です。具体的な製品の価格・型番・在庫は時期により変わるため、購入判断は各販売ページと公式情報で最新を確認してください。