最近、ローカルLLMについての話題を見聞きすることが個人的に増えてきました。SaaSサービスの費用が高くなってきているからでしょう。
自分はそれなりの期間(2024年末くらいから今日まで)、ローカルLLMを使って色々やっています。実際のところどれくらいのことならできるか？ということについて書いてみようかなと思います。
ローカルLLMの規模について
ローカルLLMといっても色々あります。利用する計算機だけを見ても、例えば以下のような形があります。
- GPUを複数搭載した計算機を複数台想定する場合(大規模)
- GPUを複数搭載した計算機が1台ある場合(中規模)
- 個人利用のデスクトップマシンで動作させる場合(小規模)
さらに、それぞれのハードウェアがどの程度VRAMを確保できるかなどによって動作できるモデルなども変わります。
自分は普段Ryzen AI Max+ 395搭載の計算機や、DGX Spark、RTX4070搭載のデスクトップ機などを使ってローカルLLM環境を構築しています。つまりこの記事は上に書いたもののうち「小規模」なローカルLLM環境について述べるものになります。
利用してきたLLMの用途や環境など
上記の環境で色々なことを実践してきました。
- コーディングエージェント
- Stable Diffusionで画像生成
- Whisperを利用した文字起こし
- kokoroを使った合成音声
- OpenClaw
- LLMを使った自作アプリ(概ねテキストの要約目的)
上記を実現するために利用しているミドルウェアとしては
- Stable Diffusion WebUI
- ComfyUI
- llama.cpp
- whisper.cpp
- vLLM
- LM Studio
- ollama
- Lemonade
利用しているモデルは言語モデルだと以下のものを比較的よく使います
- gpt-oss-120b
- Qwen 3.6 35B A3B
- Qwen 3.6 27B
全体的によくある利用方法で、そこまで特殊な環境や目的のために使っては無いと考えています。なお、環境構築のノウハウなどについては、そのうち別の記事とか同人誌なりでまとめるかもしれません。
どういったことなら任せられそうか？
こういった小規模なローカルLLM環境ではどの程度の性能が得られるのでしょう。これはタイミングや分野で回答が大きく変わって来ると思います。モデルの進化や量子化などの技術によって日々進化しつづけているためです。以下に自分の2026年7月現在の見解を書いてみます。
画像生成関連については、小規模な環境でも満足の行く結果が得られると思います。SNSなどでもComfyUIなどを使った画像生成の結果を見る機会はそれなりにあるかと思います。
音声認識、音声合成の分野についてもかなり満足がいくのでは無いでしょうか。音声認識の文字起こしについては精度もよく実用になると思います。合成音声についても実用にはなると思います。ただし完全に違和感がないような発話は難しく、まだ今後の発展を期待したいところではあります。
上記以外のもの、文字を入力として文字やソースコードを作成するような用途については、小規模なモデルでは細かい問題が発生することが多いです。例えば、ハルシネーションが気になったり、タスクを完全にやりきれなかったりなどが発生することがそれなりにあります。とはいえ、それぞれに対処していくことで十分に実用的になるというのが個人的な見解です。
実用的にするために実施している工夫(の一部)
タスクが止まってしまったり、諦めたりするものについては完璧な対策はないですが、Ralph Loopを組んで( /loop や /goalなども含めて)うまくやっていくのが良いかなと思います。
ハルシネーションについても完璧な解は現在ないです。これはフロンティアモデルでもそうなので当然ではあります。基本的に小規模環境のローカルLLMのモデルに対して知識を問うような利用方法はうまく行きません。知識は外部から取得して要約させたり、次のアクションを決めたりするような形にするべきです。
具体的には
- SearXNGなどの検索用のミドルウェアを動作させ、それをスキルから利用してもらう
- GitHubやGitLabのwikiをghコマンドやglabコマンドを用いてスキル経由で連携させる
などを実施し、これらをもとにして作業などを行ってもらうべきです。また知識の入力だけでなく、成果物などについてもスライドを作りたいのであれば、marpなどのコマンドラインツールと専用のスキルを作っておくとうまくいくことが多いです。これはSaaSのサービスを利用している場合でも同様だと思います。
実際の結果の例
色々書いてきましたが、実際の結果を見るほうがイメージがつきやすいと思うのでいくつか例を示そうかと思います。
ログの要約
普段自宅でサーバを運用しているのですが、そのログについて毎日、毎週、毎月でレポートを作らせています。以下のようなレポートです。
このレポートは以下のような仕組みで作成しています。
- OpenTelemetry Collectorでホストのログを特定のディレクトリにjsonlで出力する
- 定期的に(cronなど)で以下の処理を実施
- ログを日毎に読み込み一定サイズで分割しそれぞれをLLMに要約させる
- 出来た複数のログの要約をさらに統合する要約を作成する
- 完成した要約をSQLiteに保存する
詳細についてはそのうち記事で紹介するかもしれません。
仕組みはともかくレポート自体はとても便利に活用できるかなと思います。そもそも通常サーバを運用していても日々のログを精読することはまずありません。異常が発生したときに初めて見るということも多いと思います。そのときこういったレポートがあると便利です。例えば、あるエラーが発生していて、今回の障害に関係があるのかのような判断が数日分のレポートを見るだけで判断出来ます。
RSSの要約
これは事例としてもよく見るものですがRSSを読み込ませて要約するというものです。これはローカルLLMでも十分満足できるものが得られると思います。例えば、OpenClawにHacker NewsのRSSを毎日読ませて、翻訳して投稿させたりなどやっています。
このように、小規模なローカルLLM環境でも既にある事実をもとに要約などを行わせるような用途では十分実用的です。
課題が多い領域は？
小規模なローカルLLMだとどうしても難しいタスクというものはあります。それはコーディングの作業です。これはどうしてもClaude CodeやCodexといった製品と比較すると見劣りします。
全く使えないということはなくプロトタイピングなどは任せることが十分できますし、よくあるテトリスを作らせるようなことは可能です。しかし、上手くいかないときは全く上手く行きません。長めのプロンプトを与えたり、詳細な設計ドキュメントなどを与えたりしてもダメなときはダメです。
さらにLLMをホストしているミドルウェアに問題がありtool callに失敗して止まったりなどもしてしまうときがあります。このため、ずっと放置していて完成を待つというような状況には中々ならないです。Ralph Loopなどで多少改善はできますが、事前に十分に計画を立てておき実装させる範囲やタスクの粒度を見極める必要がある印象です。
フロンティアモデルにタスクを分割させて小規模なローカルLLMに実作業を行わせるといった使い方、もしくは仕様書については小規模なローカルLLMと議論して作成して、レビューや実装をフロンティアモデルに行わせるなどのハイブリッドだとうまく行くのかもしれません。
有効にローカルLLMを使うコツ？
小規模ローカルLLMと会話していると結局、正しい情報、知識をどれだけ適切に与えることができるのか、というのが一番重要なのではないかと感じることが多いです。自分の場合は、SearXNGを連携させるまでは微妙と感じることが多かったところ、連携させたところ評価が大幅に代わり調査タスクなどはほぼ手元のOpenClawに依頼するようになってしまいました。
コーディングの作業などについても、おそらく同様ではないかと考えます。必要となるあらゆる知識をすべて適切に列挙でき、それをコンテキストに格納できるのであればかなり精度よくコーディングしてくれるのではないかと考えています。ただしそれは困難です。与えるべき知識の量が膨大でかつその知識を得るための正しい手順を文書化することも困難です。
もっと良いモデルやもっと優れたハーネスなどが普及していって状況は変わっていきそうですが、現時点ではそれが小規模なローカルLLMの限界なのではないかなと感じます。
まとめ
上手く使えば小規模なローカルLLMも十分実用的です。毎日色々なことが起きるので楽しいですし、自前で運用していると見えてくるものも色々あるので仕事に役に立ったり立たなかったりします。
皆さんも興味があれば使ってみましょう。色々高騰したせいで中々難しい世の中なので手軽感が全然なくなってしまったのが残念ですね。