ローカルLLMの活用を検討している方なら、AMDの「Strix Halo」について、こんな評価を目にしたことがあるかもしれません。

「メモリ帯域幅は256 GB/s。大規模言語モデルを動かせるとはいえ、推論速度はそれほど速くない。」

この評価は、半分は正しいといえます。

しかし、AIの推論性能はハードウェアのスペックだけで決まるわけではありません。同じチップを使っていても、推論エンジンの設計と最適化によって、生成速度は大きく変わる可能性があります。

GMKtec EVO-X5 Proでは、専用推論エンジン「Halogen」によって、汎用推論エンジンとは異なるパフォーマンスを実現しています。

今回は、その違いを実測データとともに解説します。

 

1. まずは実測結果から。23 tok/sと75 tok/sの違い

GMKtec EVO-X2とEVO-X5 ProでQwen3.8-Flash-Nextを実行し、推論エンジンによる生成速度の違いを検証しました。

推論エンジン	生成速度
llama.cpp（汎用推論エンジン）	約23 tok/s
Halogen（EVO-X5 Pro）	約75 tok/s

Halogenでは、テスト条件下で約3.3倍の持続生成速度を記録しました。長いコンテキストを扱う場合には、条件によって差がさらに広がることもあります。

tok/sとは？

tok/sは「tokens per second」の略で、AIモデルが1秒間に生成するトークン数を示す指標です。

簡単にいえば、AIがどれだけ速く回答を生成できるかを表しています。

75 tok/sであれば、コード生成や文書の要約、長文の分析といった作業でも、回答をよりスムーズに受け取れることが期待できます。

重要なのは、この差がチップの変更によって生まれたものではないという点です。同じハードウェアでも、ソフトウェアの実装によって推論性能は変わります。

※上記はGMKtec社内での検証結果です。実際の性能は、モデルの設定、コンテキスト長、量子化方式、実行環境などによって異なります。

 

2. 性能差の鍵はハードウェアではなく、推論エンジンにある

まず、前提を整理しておきましょう。

AMDが提供するのはハードウェアです。GMKtecがチップそのものを改造したり、物理的なメモリ帯域幅を変更したりしているわけではありません。

今回の性能差を生み出す重要な要素が、**AMD Strix Halo向けに最適化された推論エンジン「Halogen」**です。

一般的な推論エンジンは、多様なGPUやさまざまなAIモデルに対応できるよう設計されています。一方、Halogenは対応するハードウェアとモデルを絞り込み、その組み合わせで高い性能を引き出すことを目指しています。

幅広い環境で動作する汎用性よりも、特定の環境での処理効率を優先する。この設計思想が、Halogenの特徴です。

 

3. 汎用性を絞り込むことで、処理を最適化

汎用推論エンジンは、NVIDIA、AMD、Intelなど、異なるGPU環境への対応や、多様なモデルアーキテクチャのサポートが求められます。

そのため、ハードウェアやモデルごとに異なる処理経路、互換性を維持するための仕組みなどが必要になります。

Halogenは、こうした汎用性を追求するのではなく、特定の環境に集中して最適化を進めます。

● 対象ハードウェア： AMD Strix Halo（GPUアーキテクチャ gfx1151）

 

● 対象モデル： Qwen3.8-Flash-Nextファミリー

 

● 最適化の方向性： ハードウェア固有のカーネルとモデル構造を考慮した実行処理

 

対応範囲を限定することで、対象ハードウェアの演算性能やキャッシュ、メモリアクセスの特性に合わせた実装が可能になります。

イメージとしては、さまざまな用途に使えるマルチツールと、特定の作業のために精密に設計された専用工具の違いです。

汎用エンジンの価値は幅広い互換性にあります。一方、Halogenは対象環境での処理効率を追求しています。

 

4. 最適化その1：ハードウェアに合わせてカーネルを設計

llama.cppのような汎用推論エンジンは、多様なGPUや実行環境に対応する必要があります。

Halogenでは、gfx1151向けにカーネルを最適化することで、対象ハードウェアの特性を考慮した処理を実装できます。

カーネルとは、GPU上で演算を実行するための処理プログラムです。

AI推論では、こうした処理がトークンの生成中に何度も実行されます。そのため、個々の処理を効率化することが、最終的な生成速度にも影響します。

重要なのは、単に不要な処理を減らすことだけではありません。演算リソース、メモリの使い方、キャッシュの特性などを踏まえ、処理全体を対象ハードウェアに合わせて設計することです。

こうした最適化を積み重ねることで、同じチップから、より高い推論性能を引き出すことを目指しています。

 

5. 最適化その2：MoEモデルの構造に合わせた処理

Qwen3.8-Flash-Nextは、総パラメータ数が約1,800億（180B）に達するMoE（Mixture of Experts）型のモデルです。

MoEとは、モデル内に複数の専門家（Expert）を配置し、入力に応じて必要な専門家を選択して処理するアーキテクチャです。

たとえば、複数の専門医がいる医療チームを想像してみてください。すべての医師が毎回診察するのではなく、患者の症状に応じて必要な専門医が対応します。

MoEも同様に、モデル全体のパラメータを毎回すべて使用するのではなく、選択された一部の専門家を活用して推論を行います。

この仕組みは大規模モデルの効率的な実行に役立ちますが、専門家の選択や重みデータの読み込み方によって、性能が左右されることもあります。

特にメモリ帯域幅が重要な環境では、必要以上のデータ移動を減らすことが重要です。

Halogenでは、対象モデルの実行パターンを考慮し、専門家のルーティングやデータ移動を最適化します。必要な計算に集中することで、メモリへの負荷や処理のオーバーヘッドを抑えることを目指しています。

5.53 bpwの量子化で、メモリ効率と精度のバランスを追求

Halogenでは、5.53 bpwの量子化設定も採用しています。

bpw（bits per weight）は、モデルの各パラメータを保存するために使用するビット数を示す指標です。

一般的に、量子化によってモデルの重みデータを圧縮すると、メモリ使用量を抑えられ、推論時に移動させるデータ量の削減にもつながります。

ただし、圧縮率を高めればよいというわけではありません。量子化の方法やモデルによっては、精度への影響も考慮する必要があります。

5.53 bpwという設定は、一律に4bitへ圧縮するのではなく、メモリ効率とモデル品質のバランスを考慮した構成です。

モデル構造に合わせた実行最適化と組み合わせることで、大規模なローカルLLMを効率よく動作させるための基盤となります。

 

6. 最適化その3：投機的デコードによる生成の高速化

Halogenのもうひとつの高速化技術が「投機的デコード（Speculative Decoding）」です。

通常の自己回帰型生成では、AIモデルは前のトークンをもとに、次のトークンをひとつずつ生成します。

投機的デコードでは、まず小さなドラフト用モデルや補助コンポーネントが、複数の候補トークンを先行して生成します。その後、メインモデルが候補をまとめて検証します。

検証に通った候補はまとめて採用できるため、逐次的な生成ステップを減らせる可能性があります。

もちろん、効果は候補がどれだけ正確に一致するかによって変わります。予測がうまく当たるほど、生成速度の向上が期待できます。

コード補完や定型的な文章生成、文書の書き換えなど、出力パターンに繰り返しが多いタスクでは、特に効果を発揮する可能性があります。

GMKtecの社内検証では、繰り返しの多いコンテンツ生成において、最大94 tok/sを記録しました。

これは特定の条件下でのピーク値であり、すべてのタスクで同じ速度が得られるわけではありません。実際の効果は、モデルや入力内容、候補トークンの採用率などによって異なります。

たとえるなら、アシスタントが先に文章の下書きを作り、あなたが内容を確認して採用するようなものです。候補が正しければ、一からひとつずつ作るより効率的に進められます。

 

7. 最適化を組み合わせることで、入力処理から生成までを高速化

個々の技術だけでなく、それらを組み合わせることで、推論処理全体の効率化を目指しています。

最大192GBのユニファイドメモリを搭載するGMKtec EVO-X5 ProとHalogenの組み合わせでは、社内検証において次の結果を記録しました。

<| |>

● 約75 tok/s： 持続的なトークン生成速度

 

● 最大2,000 tok/s： プロンプト処理速度

 

● 最大94 tok/s： 繰り返しの多いコンテンツ生成でのピーク速度

 

これらは異なる処理段階や条件における数値であり、同じ指標として単純に比較できるものではありません。

プロンプト処理とトークン生成は何が違う？

LLMの推論は、大きく分けて2つの段階があります。

Prefill（プロンプト処理）

入力された文章やコード、会話履歴などをモデルが処理する段階です。長い文書を読み込ませる場合、この処理速度が重要になります。

Decode（トークン生成）

入力内容をもとに、AIが回答を生成する段階です。持続的な生成速度が高いほど、回答をスムーズに受け取れます。

たとえば、大量の資料を読み込ませて分析させる場合、入力処理が速ければ待ち時間を短縮できます。その後の回答生成も速ければ、分析結果や要約をより快適に確認できます。

128Kトークンの長文コンテキストにも対応

128Kトークンのコンテキストは、言語や文章構成によって異なりますが、数百ページに相当する大量の情報を扱える規模です。

プロンプト処理速度が最大2,000 tok/sに達する条件では、大量の入力情報を効率よく処理できます。その後、約75 tok/sの持続生成速度によって、読み込んだ情報をもとに回答や要約、分析結果などを生成します。

長い文書の分析、大規模なコードベースの確認、複雑なAIワークフローでは、入力の処理速度と回答の生成速度の両方が重要です。

ローカルAIを実用的に活用するうえでは、単にモデルを動かせるだけでなく、入力から出力までをどれだけスムーズに処理できるかが重要になります。

 

8. EVO-X5 Proは、ローカルAIのための専用マシンへ

GMKtec EVO-X5 Proは、デスクトップ環境で高度なAIワークロードを実行したいユーザーに向けて設計された製品です。

最大192GBのユニファイドメモリと高い演算性能に加え、Halogenのような専用ソフトウェアスタックを組み合わせることで、ハードウェア単体では得られない性能向上を目指しています。

特に、ローカルAIエージェントの実行、コーディング支援、大量の文書を扱う長文コンテキスト処理など、応答速度が作業効率に直結する用途に適しています。

また、対応するAIワークロードをローカルで実行することで、データを外部のクラウド推論サービスに送信せずに処理できる構成も実現できます。社内文書やソースコードなど、機密性の高い情報を扱う企業にとっても重要な選択肢となります。

もちろん、HalogenはあらゆるGPUやモデルに対応する汎用エンジンではありません。対応するハードウェアとモデルを絞り込むことで、その環境での性能を追求する設計です。

汎用性を重視するか、特定の環境での処理効率を重視するか。どちらが適しているかは、用途によって異なります。

しかし、ローカルで大規模モデルを動かすだけでなく、実際の作業で快適に使える速度を求めるなら、ソフトウェアの最適化は見逃せない要素です。

メモリ帯域幅はハードウェアによって決まる。しかし、その性能をどこまで引き出せるかは、ソフトウェアによって変わります。

GMKtec EVO-X5 ProとHalogenは、専用の推論最適化によって、デスクトップでのローカルAI体験をさらに快適なものへと進化させます。

ローカルAIの可能性を、次のステージへ

GMKtec EVO-X5 Proで、ローカルLLMの実行性能と専用推論エンジンによる最適化を体験してください。

GMKtec EVO-X5 Pro — 次世代のローカルAIを、デスクトップに。