サマリー
本テーマは、推論能力の向上を純粋なスケーリング問題として扱うのではなく、推論指向LLMの訓練と推論の両面での効率化に焦点を当てている。代表的な論文は、ハイブリッドMamba/TransformerおよびMoE設計、知識転移、適応的推論制御を重視しており、モデルがより低いメモリ・トークン・レイテンシコストで長時間または選択的な推論を維持できることを目指している。今週の進捗は、ハイブリッドアーキテクチャ、パラメータ共有、予算認識型ルーティングを通じたスループットと精度のトレードオフ改善への流れを強化している。
テーマの状況
代表的な論文の序論は共通のボトルネックを提示している。数学、コーディング、エージェント的な設定における現代の推論タスクは、より長い思考連鎖、より多くのサンプル、またはより大きなモデルの恩恵を受けるが、標準的な密なTransformerはシーケンス長、KVキャッシュの増大、大バッチデコーディングがメモリと計算資源を圧迫するため高コストとなる。これに対し、推論品質を維持しつつこれらのコストを削減するアーキテクチャと訓練パイプラインへの移行が進んでいる。M1はスケーラブルなテスト時計算を支えるアプローチとしてハイブリッド線形回帰型推論モデルを動機づけ、AquilaMoEはトークンあたりの計算量を同等に増やすことなくはるかに大きなパラメータ数へのスケーリング経路としてMoEを提示しており、ただし訓練がデータおよび計算効率的に行える場合に限る。
序論から浮上する第二の側面は、効率性がもはやアーキテクチャだけでなく、振る舞いにも関わるという点である。KATは、思考連鎖を一律に適用すべきでないと主張する。無差別な推論は過剰思考、レイテンシ、トークンの浪費を生むため、蒸留、マルチトークン予測、中間的な監督付き強化学習を通じていつどの程度推論するかを決定するモデルが求められる。Nemotron 3 Ultraからの補足的証拠は、MoEとハイブリッドMamba-Attention設計をエージェント重視のポストトレーニングおよび制御可能な推論努力量と組み合わせることでこの方向性を拡張しており、現在のフロンティア研究が能力・スループット・デプロイ可能性を共同最適化する効率的推論システムに収束しつつあることを示唆している。
- AquilaMoE: Efficient Training for MoE Models with Scale-Up and Scale-Out Strategies
- M1: Towards Scalable Test-Time Compute with Mamba Reasoning Models
- KAT-V1: Kwai-AutoThink Technical Report
インフォグラフィクス（日本語）
今週の進展
Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning <See Details on Fugu-MT>
Nemotron 3 Ultraは550Bパラメータ規模のMoEハイブリッドMamba-Attentionアーキテクチャとエージェント重視のポストトレーニングを組み合わせ、同等のオープンモデルと比較して最大5.9倍の推論スループットを達成しつつ、推論およびエージェントベンチマークで同等の精度を維持している。 以前のハイブリッドまたはMoE推論モデルと比較して、アーキテクチャ、ポストトレーニング、量子化を共同最適化することで、フロンティアレベルの精度を保ちながら大幅なスループット向上を実現できることを示している。
Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models <See Details on Fugu-MT>
本論文は連続するMoE層間でエキスパートFFNパラメータを共有（タイイング）し、OLMoE、Qwen3-MoE、DeepSeekMoEの各アーキテクチャで損失劣化をほぼ伴わずに総パラメータ数を最大52%削減している。 エキスパートを追加してMoE容量をスケーリングする従来のアプローチと比較して、層間の重み共有が実用的なパラメータ効率化手段であり、層ごとのAttention（ルーティングではなく）が共有層の差別化を維持していることを示している。
CARE: Competence-Aware Reward Shaping for Adaptive Reasoning Length in Video-MLLMs <See Details on Fugu-MT>
CAREはビデオMLLMのRL訓練に能力認識型の報酬整形を導入し、モデルの能力の変化に応じて推論長に対する報酬を動的に調整する。 テキストのみの設定における従来の適応的推論研究と比較して、マルチモーダルなビデオ推論における能力・制約のミスマッチに対応し、トークン消費を削減しつつ精度を向上させている。
SoftMoE: Soft Differentiable Routing for Mixture-of-Experts in LLMs <See Details on Fugu-MT>
SoftMoEは離散的なtop-kルーティングを微分可能なLapSum緩和に置き換え、グローバルな予算制約の下で層ごとのアクティブエキスパート数をパラメータ化する。 従来の離散ルーティングMoE設計と比較して、競争力のある言語モデリング性能を維持しつつ、エキスパートの割り当てを完全に微分可能かつ予算認識型にしている。
今後の展望
今後の展望（要約）
短期的な方向性は、ハイブリッドな再帰・注意モデルとMixture-of-Experts設計が、より密接に収束していくことだと考えられる。狙いは、精度を落とさずに推論の処理量を高めることにある。最近の研究は、より良いカーネル、推論エンジンとの深い統合、長文脈や大規模バッチの推論を実用上安くする最適化手法を示している。もう一つの方向性は、モデルがどれだけ推論するかをより強く制御することだ。マルチモーダル・エージェント、高速な強化学習用生成、能力に応じた推論長の調整に関する研究は、長い推論過程を本当に成果が上がる課題に限って使う、より適応的な方針につながっている。
インフォグラフィクス（日本語）
3年後を想定した動き
このシナリオでの3年間の動きは、推論量を単に増やす対象ではなく、制御する対象として扱う効率的な推論スタックへ向かうことだ。仕組みは、電力網のデマンドレスポンスに似ている。推論トークンは変動する負荷のように振る舞う。Mixture-of-Expertsのモジュールは共有容量のように働く。追加の推論は、品質向上の見込みが追加コストに見合う場合だけ使われる。
1年目には、個別の高速化実証から、複数の手法を組み合わせたレシピへ移る。ハイブリッドな再帰・注意バックボーン、結合された専門家、適応的な推論方針が、一定の時間やトークン制限の下で一緒に試される。中心的な問いは、答えの品質を安定させたまま、考えすぎを減らせるかどうかである。見ておくべき手掛かりは、易しい依頼でトークン数が継続的に減り、利用者の受け入れや課題結果が悪化しないことだ。
2年目には、評価の中心が固定された予算内での正確さへ移る。つまり、制限なしの最高点だけでなく、決められた余力の中で何を解けるかが比較される。生成が速くなると、学習用サンプルや蒸留データを多く作れるため、事後学習もしやすくなる。そこから、速いモデルが訓練を改善し、より良い訓練が適応方針を改善するという循環が生まれる。改善された方針は、無駄な推論ステップをさらに減らす。
3年目までに成功したシステムは、より標準化された姿になる。研究は、ハイブリッドな疎モデル、結合された専門家、全体予算に基づくルーティングの周辺にまとまっていく可能性が高い。応用プラットフォームは、コーディング支援や分析支援のようなツールに推論制御層を組み込む。注意点は、推論が普通の負荷とは違い、初期の小さな情報が長い連鎖の後で重要になることだ。このシナリオは、配信が遅いままの場合や、未知の課題で適応的な長さ制御が精度を落とす場合に弱まる。固定予算での評価が広がらない場合も、進展は鈍くなる。
このシナリオでの3年間の動きは、プランナーが推論を制御する方向へ進むことだ。仕組みは、データシステムにおけるコストベースの問い合わせ最適化に近い。プランナーは、課題を解く複数の方法を見積もる。そのうえで、時間、トークン、品質の制約に最も合う経路を選ぶ。言語モデルでは、その経路が短い回答、隠れた推論、検証器の呼び出しになることがある。
1年目には、この計画層が固定的な振る舞いを上回れるかが試される。近い将来の部品は、予算を意識したルーティング、高速な長い推論列の生成、能力に応じた推論長の調整にすでに見えている。重要な観測点は、混在した作業負荷での計画単位の性能である。プランナー制御のシステムは、固定された遅延やトークン制限の下で、常に推論する基準線を上回る必要がある。特に、易しい課題と難しい課題が混ざる場合に差が出るはずだ。
2年目には、焦点は較正と配信エンジンの設計へ移る。較正とは、追加の推論が答えを変える見込みを学ぶことである。エンジン設計とは、選ばれた計画を基盤側が効率よく実行することを意味する。たとえば、予想される推論長が近い依頼をまとめて扱う。計画の選択、失敗、停止判断のログは、より良いコストモデルを作る訓練データになる。改善されたコストモデルは、節約した計算資源をより難しい課題や事後学習データの改善へ回す。
3年目までに、効率的な推論は管理された実行ループになる可能性がある。システムは計画し、実行し、監視し、必要なら検証し、その結果から学ぶ。応用側は、単に大きなモデルではなく、推論の振る舞いを明確に制御できる基盤を求めるようになる。有用な計測情報は、トークン消費、専門家への負荷、推論を止めた理由を示す。注意点は、言語モデルの推論がデータベース問い合わせほど決定的ではないことだ。答えが出る前に成功を予測することも難しい。このシナリオは、難しさの見積もり、検証器の信号、ルーティング選択が不安定なままだと、外側の仕組みにとどまる。
このシナリオでの3年間の動きは、推論システムに対して開示された効率ラベルが付く方向へ進むことだ。仕組みは、生の正確さだけでなく、固定されたトークンや計算量の範囲での正確さも測ることにある。解決済み課題あたりのエネルギーも比較の一部になる。これにより、ハイブリッドモデル、Mixture-of-Expertsのルーティング、適応的な推論は、測定可能な効率システムの一部として扱われる。
1年目には、個別の速度主張から、比較できる効率曲線へ移る。研究者は、許される推論予算が変わると性能がどう変わるかを報告する。モデル提供者や配信プラットフォームは、トークン使用量、遅延、処理量を示すカードを公開する。実用的な観測点は、大口の利用組織、標準化団体、評価プログラムのいずれかが、共通形式でこれらの数値を求めることだ。
2年目には、その兆しが現れれば、報告は任意開示から点数化された効率へ移る。研究の焦点は、より監査しやすい測定に向かう。固定されたベンチマークは規律を高める一方で、抜け道を生むこともある。モデルが通常利用で効率よく振る舞うのではなく、テストに似た入力でだけ推論を節約するかもしれない。そのリスクを下げるには、隠された課題の組み合わせや、実運用に近いサンプルでの確認が必要になる。
3年目までに成功したシステムは、モデルと予算管理層を一体で提供するようになる。その層は、いつ推論努力を増やし、いつ直接答えるかを制御する。コーディング支援、長文脈処理、マルチモーダル推論のためのツールは、コストで正規化した性能を通常の運用指標として追跡する。安定する道筋は、各モデル更新が開示された振る舞いを保っているかを、リリース検証で日常的に確かめることだ。混乱する道筋は、公に知られる不正確な表示や過度な最適化の事例が起き、固定ラベルへの信頼が下がることだ。その場合、分野は実行時の計測情報をより重視する方向へ進む。注意点は、推論モデルが頻繁に変わり、品質が課題に強く依存することだ。そのため長く使える形は、永久に固定された一つの効率数値ではなく、継続的に更新される測定システムになる。
1年後・3年後の研究/応用インフォグラフィクス
参照論文
- AquilaMoE: Efficient Training for MoE Models with Scale-Up and Scale-Out Strategies - 著者: Bo-Wen Zhang, Liangdong Wang, Ye Yuan, Jijie Li, Shuhao Gu, Mengdi Zhao, Xinya Wu, Guang Liu, Chengwei Wu, Hanyu Zhao, Li Du, Yiming Ju, Quanyue Ma, Yulong Ao, Yingli Zhao, Songhe Zhu, Zhou Cao, Dong Liang, Yonghua Lin, Ming Zhang, Shunfei Wang, Yanxin Zhou, Min Ye, Xuekai Chen, Xinyang Yu, Xiangjun Huang, Jian Yang, / <See Details on Fugu-MT> / ライセンス: CC-BY-4.0
- M1: Towards Scalable Test-Time Compute with Mamba Reasoning Models - 著者: Junxiong Wang, Wen-Ding Li, Daniele Paliotta, Daniel Ritter, Alexander M. Rush, Tri Dao, / <See Details on Fugu-MT> / ライセンス: CC-BY-4.0
- KAT-V1: Kwai-AutoThink Technical Report - 著者: Zizheng Zhan, Ken Deng, Huaixi Tang, Wen Xiang, Kun Wu, Weihao Li, Wenqiang Zhu, Jingxuan Xu, Lecheng Huang, Zongxian Feng, Shaojie Wang, Shangpeng Yan, Jiaheng Liu, Zhongyuan Peng, Zuchen Gao, Haoyang Huang, Ziqi Zhan, Yanan Wu, Yuanxing Zhang, Jian Yang, Guang Chen, Haotian Zhang, Bin Chen, Bing Yu, / <See Details on Fugu-MT> / ライセンス: CC-BY-4.0