最近、急激に導入が進んでいるAI。企業はもちろん、個人でもサブスクリプションで契約して利用している方も多いのではないでしょうか。
私もサブスクリプション利用を行っていました。
ただ、自由にAIを使いたいと思った時、個人的な情報を含む場合、外部にサーバー上のAIに情報を投げるのは少し抵抗がありました。
そこで、プライバシーを守りながら個人利用できるAIを手元に置けば、個人利用しやすいのではと考えました。
自分のローカルPCにAIを入れる事で、外部に個人情報を流す事なく、AIに様々な質問をができ、回答をもらえます。
今回の記事では、ローカルLLM様に作成した自作PCを紹介します。以前メインPCとして使っていたPC構成を変更し、最終的にRadeon AI PRO R9700を利用した自作PCを構築しています。
AIにご興味のある方のご参考となれば幸いです。
ローカルLLMとは
最初に、ローカルLLMと一般的なAIの違いを紹介します。
一般的に私たちがAIを使う時、Grok、ChatGPT、Copilot等web上のアプリケーションです。
このアプリケーションは自分のパソコンで動かしているのではなく、企業がそれぞれで準備しているパソコン（サーバー）を利用しています。そのため、手元にあるパソコンのスペックが高く無くても、ネットワークに接続できる環境があれば、AIを利用できます。
一方、ローカルLLMは、AIを自分のパソコンに入れて動かします。そのため、AIを動かすためのパソコンを自分で準備する必要があります。注意点として、用意したパソコンのスペック内で利用できるAIが性能上限となります。
ただし、自分のパソコンの中でAIとのやり取りが完了するため、外部に情報を預ける必要がありません。個人情報を守りながらAIを利用する場合に有利です。
ローカルLLM導入のきっかけと目的
ローカルLLM導入のきっかけは、ブログ運用の補助をお願いしたいと考えた事です。
具体的には、ブログを執筆する時の文章添削、作業効率のためのプログラム作成等です。
ブログに関わるところは、最終的にWebに公開するためAIサービスを使っても良いかなと思いましたが、公開前の記事も含むため、問題が起こった時にも、個人の中問題が収まるため、扱いやすいと考え、ローカルLLMの導入を決めました。
別の理由として、最近の社会的なAI需要も高まっているので、個人的な勉強のために導入をしています。
ローカルLLMを動かすために組み立てたPC構成
お試しとして、RTX5080を搭載した旧メインPCでローカルLLMを動作させました。
RTX5080はVRAM16GBがネックとなり、ログを見るとエラーを多く起こしていました。
そのため、VRAMが増やす必用があると考えました。
2026年5月以降で、価格的に入手しやすい製品を探し、Radeon AI PRO R9700を導入しました。
Radeon AI PRO R9700のVRAMは、32GBあるため、余裕が生まれAIの動作でエラーの発生頻度が減り、快適に動作させる事に成功しています。
現在は、AI動作中のサイズが大きなモデルを利用した時、動作の遅さが気になった事で、Radeon AI PRO R9700を2枚搭載したPCでAIを動かしています。
最終的に構築したPC構成は以下です。
- CPU：Ryzen9 9950X
- マザーボード：X870E Carbon Wi-Fi
- GPU：Radeon AI PRO R9700(2枚)
- メモリ：64GB(DDR5 32GB×2)
- ストレージ：1TB(M.2SSD OS利用)
- ストレージ：2TB×2(M.2SSD モデルとデータ保存用)
- 電源：1350W
- PCケース：FRAME 5000D RS
過去に利用したグラフィックボードをRTX5080からRadeon AI PRO R9700に変更し、M.2 SSDを1TBから4TBほど増設しています。
構築したPCは、ローカルLLMを動かすために十分スペックではなく、課題も残っています。ただし、とりあえず動かす環境としては十分です。
また、Radeon AI PRO R9700の2枚構成は、一般家庭のコンセント限界が1500Wを考えると生活する中で利用できる電力の限界に近いと考えています。そのため、普通のコンセント1口で運用する上限に近い性能です。
合計VRAMが64GBのパソコンができたため、性能に期待ができます。
動作ソフト
現在、安定した動作する構成を確立できていないため、安定動作を確定後、別途紹介したいと思います。
以下のソフトウェアは、現時点で私が動かしている構成です。
- OS：Ubuntu 24.04
- ソフトウェア:Docker、ollama、OpenWebUI
- モデル：gema4/Qwen/muse-glimmer
役割は、Ubutnuの上でDockerという仮想環境を準備しこの上でアプリケーションであるollamaとOpenWebUIを動かしています。ollama上で、gema4/QwenといったAIを動かしています。
AIとやり取りするインターフェースとして、OpenWebUIを利用しています。
Dockerを利用する理由は、Ubutnu上の環境を汚す事なく、ソフトウェアの入れ替えを行えます。Ubuntu環境を気にせず、環境を壊したり、作ったりを繰り返し、気軽に環境の入れ替えができるため、都合が良いです。
発生している不具合
この環境での不具合は、2つあります。
GPU2枚を動かした時に動作が遅い
マザーボードが2枚GPUを認識させ、分割処理を行った時、AIの返答が確実に遅くなります。
想定している原因は、レーン分割のバランスです。利用しているマザーボーでは、レーン分割がX8/X4とバランスが良くない状態です。
そのため、処理の速い方が遅い方の処理を待っている状態で処理速度が遅れていると考えています。質問から回答までの待ち時間が長い事で、AIの利便性が下がっている状態です。
対策として、PCI-Eスプリッターを導入し、一番上のX16レーンをX8/X8に分割する事を試す予定です。BIOSの設定が必用ですが、レーン分割を行い、2枚のグラフィックボードの処理速度を統一します。
現在、PCI-Eスプリッターを購入し、届くのを待っている状態です。届いた後、別記事でベンチマークや速度解消状況を紹介予定です
メモリ領域が保持される
gema4を動かし、停止した後もメモリ領域が確保された状態が続きます。解放されるタイミングが無なく、連続でAIを稼働させるとメモリ利用量がどんどん増えていきます。この状態が続くと、Ubuntuの入力インターフェースにキー入力が安定しない等、不具合が発生します。原因は、現在調査中です。
実際に動かした速度
不具合を抱えているものの、実際に構築した環境でAIを動かした時の速度を計測しています。
GPU2枚を動かすと遅いため、参考値として1枚構成時のベンチマーク取得しています。
- gemma4:31b：23.26 tokens/s
- muse-glimmer:30b：28.95 tokens/s
- gemma4:26b：85.90 tokens/s
GPU1枚の動作では、WebサービスAIよりもすこし遅いなと思う程度ですが、満足できる返答速度です。
PCI-Eスプリッターを導入し、動作速度が向上した時にどうなるかで判断したいです。
使ってみた感想
外部情報を取得する仕組みが構築できていないため、最新の情報収集ができていない事から、トレンドや最新技術等に対しての解答への期待値は低く感じます。一方で、最新情報を必用としない部分については、良いアドバイスを回答してくれます。
まだ使いはじめたばかりなので、今後改善を繰り返し、使える環境にしていきます。次の目標は、現時点で発生している不具合の解消と、外部データの取得する構造の作成です。
より使いやすい、ローカルLLM環境の構築を目指します。
まとめ
準備時点で意識していなかった、PCI-Eの速度違差で想定していたどうだが実現できないという問題がありましたが、ローカルLLM自体は動く環境が構築できた事に対して満足しています。
特に、自分のデータを手元に置いた状態でAIを利用できる事で、「この情報は外に出したくない」と悩むような情報を、「プライベート環境だし、いったん投げてみよう」と思える様になり、AIを利用できる幅が広がりました。
ソフト面、物理面の課題は残っているものの、安定動作のGPU1枚での動作は申し分なく、2枚動作への期待も高まるところです。
本記事が、AIにご興味のある方のご参考となれば幸いです。
以上です。