Prefill性能が約10倍、Decode性能が約1.85倍に向上。320Bクラスの大規模言語モデルをローカル環境で活用する新たな可能性。

AIモデルの大規模化が進み、数千億規模のパラメータを持つ大規模言語モデル（LLM）が登場するなか、デスクトップ環境でいかに効率よく推論を実行するかが重要な課題となっています。

大規模モデルを快適に動作させるには、十分なメモリ容量と高い演算性能に加え、ハードウェアの能力を最大限に引き出すソフトウェアの最適化が欠かせません。

GMKtecはこの課題に取り組み、デスクトップAIスーパーコンピューター「EVO-X5 Pro」において、320Bクラスの大規模言語モデル「GLM-5.3-Flash」の推論性能を大幅に改善しました。

GMKtecの開発チームによる最適化の結果、社内テストでは以下の性能向上を確認しています。

● Prefill性能：約10倍に向上

● Decode性能：約1.85倍に向上

ハードウェアとソフトウェアを組み合わせた最適化により、大規模AIモデルのローカル推論を新たなレベルへと引き上げます。

192GBのユニファイドメモリが支える大規模AI処理

大規模言語モデルをローカル環境で実行するうえで、重要な要素のひとつがメモリ容量です。モデルの重みやコンテキストをメモリ上に保持するため、モデルの規模が大きくなるほど、十分なメモリを確保することが重要になります。

GMKtec EVO-X5 Proは、AI処理を強力に支えるAMD Ryzen AI Max+ PRO 495プロセッサを搭載。グラフィックスにはAMD Radeon 8065Sを採用し、最大192GBのユニファイドメモリに対応しています。

CPUと内蔵GPUがメモリを共有する大容量メモリアーキテクチャにより、大規模なモデルや長いコンテキストを扱うAIワークロードに対応するための基盤を提供します。

このハードウェア構成により、クラウドサービスだけに依存することなく、デスクトップ上で大規模言語モデルを実行・検証する環境を構築できます。

ソフトウェア最適化で引き出す推論性能

高性能なハードウェアを搭載するだけでは、大規模言語モデルの推論性能を最大限に引き出すことはできません。実際のパフォーマンスは、推論エンジンやソフトウェアスタックがハードウェアをどれだけ効率的に活用できるかにも左右されます。

GMKtecの開発チームは、GLM-5.3-Flashの実行環境に対して、推論処理の各段階を対象とした最適化を実施しました。その結果、AIの応答速度に大きく関わるPrefillとDecodeの両方で性能向上を実現しました。

Prefill：入力処理性能が約10倍に向上

Prefillは、AIモデルがユーザーの入力したプロンプトを処理し、応答の生成を開始する前の段階です。

長文のドキュメントや大規模なコードベースなど、大量の情報を入力するワークロードでは、この処理にかかる時間が応答開始までの待ち時間に大きく影響します。

今回の最適化により、GMKtec EVO-X5 Proは社内テストの基準構成と比較して、Prefill性能が約10倍に向上しました。

これにより、長いプロンプトを処理する際の待ち時間の短縮が期待でき、大量のコンテキストを扱うAIワークフローの効率化につながります。

Decode：生成性能が約1.85倍に向上

Decodeは、入力内容の処理が完了した後、AIモデルがトークンを順次生成して回答を出力する段階です。

GMKtecによる最適化では、Decode性能も約1.85倍に向上しました。

生成速度の向上は、長文の作成、プログラムコードの生成、複雑な質問への回答など、出力が長くなるタスクで特に重要です。

入力処理から回答生成までの両方を改善することで、大規模言語モデルをローカル環境で利用する際の操作性向上を目指しています。

約500Kトークンの超長文コンテキストで検証

大規模AIモデルの性能を評価する際には、短いプロンプトでの処理速度だけでなく、長いコンテキストを入力した場合の処理性能や安定性も重要です。

GMKtecは、最適化したGLM-5.3-Flashの実行環境について、1,024トークンから最大499,712トークンまで、さまざまな入力長でテストを実施しました。

最大入力長は約500Kトークンに達し、大規模なコンテキストを扱うワークロードでの推論性能を検証しています。

テスト結果

出典：GMKtec社内テスト。結果はテスト時のハードウェア、ソフトウェア、モデル構成および推論設定に基づくものであり、実際の性能は環境によって異なる場合があります。

入力長1,024トークンのテストでは、Prefill速度494.54 tokens/s、初回トークン出力までの時間は2.22秒でした。

一方、499,712トークンという大規模な入力では、Prefill速度628.91 tokens/s、Decode速度28.23 tokens/sを記録しました。初回トークン出力までの時間は795.77秒となっています。

約500Kトークンの入力を処理する場合、モデルは回答の生成を開始する前に膨大な情報を読み込む必要があります。そのため、初回トークン出力までの時間は入力規模に大きく左右されます。

また、GMKtecの社内テストでは、4K、32K、128Kトークンなどのコンテキスト長においても、Decode速度は28～33 tokens/sの範囲を維持しました。

これらの結果は、短い入力だけでなく、長文ドキュメントや大量の情報を扱うユースケースも考慮してAIシステムを評価することの重要性を示しています。

ローカルAIを活用するためのデスクトッププラットフォーム

EVO-X5 Proは、単なる小型PCではありません。大規模言語モデルの実行やローカルAIワークフローの構築を目指すユーザーに向けた、コンパクトなデスクトップAIコンピューティングプラットフォームです。

想定される活用シーンには、次のようなものがあります。

● 研究・ドキュメント分析： 大量の資料や長文コンテキストを活用した情報分析

● ソフトウェア開発： ローカルLLMを利用したコード生成やコード分析

● AIモデルの検証： 大規模言語モデルの動作検証や独自の推論環境の構築

● プライバシーを重視したAI活用： 対応するAI処理をローカルで実行し、クラウド推論サービスへの依存を軽減

ローカル環境でAIを実行することで、データの管理方法や実行環境をより細かく制御できる可能性があります。ただし、実際のプライバシー保護は、使用するソフトウェアやネットワーク設定、外部サービスとの連携状況にも左右されます。

大規模モデルを活用したい開発者、研究者、AIエンスージアストにとって、最大192GBのユニファイドメモリと最適化された推論環境を備えるEVO-X5 Proは、ローカルAIの可能性を広げる選択肢となります。

大規模AIを、もっと身近なデスクトップへ

GLM-5.3-Flashを用いた今回の検証は、高性能なハードウェアとソフトウェアの最適化を組み合わせることで、ローカルAI推論の性能をさらに引き出せることを示しています。

AMD Ryzen AI Max+ PRO 495プロセッサ、最大192GBのユニファイドメモリ、そしてPrefillとDecodeの両面における性能向上を備えたGMKtec EVO-X5 Proは、大規模言語モデルをデスクトップ環境で活用するための強力なプラットフォームです。

AIコンピューティングの可能性は、クラウドの中だけにあるわけではありません。GMKtec EVO-X5 Proとともに、大規模AIをデスクトップで活用する新たな可能性を探ってみませんか。

GMKtec EVO-X5 Proの詳細はこちら。

https://tinyurl.com/2m2847nw