論文の概要: TempoMoE: Identifying and Steering Fast-Slow Thinking Experts for Efficient Multimodal Reasoning
- arxiv url: http://arxiv.org/abs/2610.25999v1
- Date: Mon, 19 Oct 2026 08:22:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 03:03:53.922937
- Title: TempoMoE: Identifying and Steering Fast-Slow Thinking Experts for Efficient Multimodal Reasoning
- Title（参考訳）: TempoMoE: 効率的なマルチモーダル推論のための高速スロー思考エキスパートの同定とステアリング
- Abstract要約: 早い思考と遅い思考は、専門家の引き抜きのパターンが異なることが分かりました。
トレーニングフリーの2段階フレームワークであるTempoMoEを提案する。
テンポコントラストのルーティング分析によって、高速かつ遅い専門家を特定します。
速い考えのエキスパートを増幅し、簡単な入力についてゆっくり考えるエキスパートを抑圧し、この調整をハードなもので逆転させる。
- 参考スコア（独自算出の注目度）: 6.682437371188009
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Mixture-of-Experts (MoE) reasoning models rely on long chain-of-thought (CoT) for complex tasks, yet often overthink easy inputs, increasing token cost and latency, and sometimes degrading accuracy. Existing methods optimize reasoning length during training or impose external control at inference, but leave the underlying reasoning mechanism a black box. We find that fast and slow thinking exhibit distinct expert-routing patterns: holding the input fixed and varying only the prompted reasoning tempo produces stable routing shifts. Suppressing slow-thinking experts shortens the reasoning chain, whereas suppressing fast-thinking experts lengthens it, providing causal evidence that these experts influence reasoning depth. Based on this finding, we propose TempoMoE, a training-free, two-stage framework. It identifies fast- and slow-thinking experts via tempo-contrastive routing analysis and redistributes routing weights within the original top-k set according to sample difficulty. It amplifies fast-thinking experts and suppresses slow-thinking experts on easy inputs and reverses this adjustment on hard ones, enabling difficulty-adaptive control over reasoning depth. We evaluate TempoMoE on Kimi-VL, Qwen3-VL, and ERNIE-4.5-VL across six benchmarks. Compared with Vanilla, TempoMoE consistently improves accuracy while reducing output tokens, with accuracy gains of up to 2.6 points and token reductions of up to 35.4%.
- Abstract（参考訳）: マルチモーダル・ミックス・オブ・エクササイズ(MoE)推論モデルは複雑なタスクに長いチェーン・オブ・シント(CoT)を頼りにしているが、簡単な入力やトークンのコストやレイテンシの増大、時には精度の低下などを考えることが多い。
既存の方法は、トレーニング中の推論の長さを最適化するか、推論時に外部制御を強制するが、基礎となる推論メカニズムをブラックボックスに残す。
入力を固定し、引き起こした推論テンポだけを変えると、安定したルーティングシフトが発生する。
遅い考えのエキスパートを抑えることは推論の連鎖を短くする一方、速い考えのエキスパートを抑えることは推論の深さに影響を与えるという因果的証拠を与える。
そこで本研究では,トレーニングフリーの2段階フレームワークであるTempoMoEを提案する。
テンポコントラストのルーティング分析と、サンプルの難易度に応じて、元のトップkセット内のルーティングウェイトを再分割することで、高速でゆっくりとした専門家を特定します。
高速思考の専門家を増幅し、簡単な入力についてゆっくり考える専門家を抑圧し、この調整をハードなものに逆転させ、推論深度に対する困難かつ適応的な制御を可能にする。
我々は,Kimi-VL,Qwen3-VL,ERNIE-4.5-VLのTempoMoEを6つのベンチマークで評価した。
バニラと比較すると、TempoMoEは出力トークンの精度を常に改善し、最大2.6ポイントの精度向上と最大35.4%のトークン削減を実現している。
関連論文リスト
- When to Think Deeply: Inhibitory Deliberation for LLM Reasoning [5.19759149737193]
我々は、応答条件による抑制的熟考のためのフレームワークであるIDPRを提案する。
IDPRはまず簡潔な直感的な回答を生成し、次に抑制コントローラを使用して決定する。
IDPRは最も高い補正精度を達成し、応答条件による阻害が迅速な答えをよりよく識別することを示す。
論文 参考訳（メタデータ） (2026-06-04T21:57:27Z) - Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。
REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。
スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
論文 参考訳（メタデータ） (2026-02-18T02:55:55Z) - Addressing Overthinking in Large Vision-Language Models via Gated Perception-Reasoning Optimization [56.59356959631999]
Gated Perception-Reasoning Optimization (GPRO) は3つの決定経路間で動的に計算をルーティングするメタ推論コントローラである。
GPROは精度と効率を大幅に改善し、最近のスロー思考法よりも優れている。
論文 参考訳（メタデータ） (2026-01-07T23:05:17Z) - Understanding and Steering the Cognitive Behaviors of Reasoning Models at Test-Time [22.9491443902816]
本研究では、推論軌跡の構造と、異なる認知行動と相関する特別な注意点を明らかにする。
テスト時間における認知推論ステアリングのトレーニング不要な方法であるCRESTを提案する。
CRESTは非生産的推論の振る舞いを適応的に抑制し、高い精度と低い計算コストをもたらす。
論文 参考訳（メタデータ） (2025-12-31T02:46:04Z) - Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。
それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。
本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
論文 参考訳（メタデータ） (2025-09-29T15:52:08Z) - Your Models Have Thought Enough: Training Large Reasoning Models to Stop Overthinking [50.97239453902612]
大規模推論モデル(LRM)は、困難なタスクにおいて顕著なパフォーマンスを達成したが、その深い推論はしばしばかなりの計算コストを発生させる。
Evidence Accumulation Modelsにインスパイアされて、LEMは推論の初期段階で十分な情報を蓄積し、さらなる推論ステップを冗長にすることがわかった。
不要な推論を積極的に終了させるためにモデルを訓練するJust-Enough Thinking (JET)を提案する。
論文 参考訳（メタデータ） (2025-09-27T16:25:06Z) - Ban&Pick: Ehancing Performance and Efficiency of MoE-LLMs via Smarter Routing [36.625445642399136]
Ban&Pickは、よりスマートなルーティングのためのポストトレーニング、プラグイン・アンド・プレイ戦略である。
パフォーマンスに大きく影響した重要な専門家を発見し、強化する。
トレーニングやアーキテクチャの変更なしに、無償のパフォーマンス向上と推論アクセラレーションを提供する。
論文 参考訳（メタデータ） (2025-09-08T05:38:10Z) - From Long to Short: LLMs Excel at Trimming Own Reasoning Chains [48.692414597960244]
O1/R1スタイルの大推論モデル(LRM)は、従来の命令追従 LLM よりも大幅に進歩している。
近年の研究では、LEMは過剰思考に苦しむ傾向があることが示されている。
本研究では,LRMを効率よく誘導し,テスト時に最も短い正しい推論経路を特定するテスト時間スケーリング手法EDITを提案する。
論文 参考訳（メタデータ） (2025-09-07T19:00:44Z) - Controlling Thinking Speed in Reasoning Models [57.14541748751654]
人間の認知は、高速で直感的なシステム1思考と遅いシステム2思考の2つのモードで動作する。
本研究では,LRMが動的思考速度調整によって人間の知能を近似することを可能にする。
提案手法は, LRMにおける思考速度の制御方法と, 最適性能をいつ調整するかという2つの重要な問題に対処する。
論文 参考訳（メタデータ） (2025-07-04T16:41:06Z) - FReM: A Flexible Reasoning Mechanism for Balancing Quick and Slow Thinking in Long-Context Question Answering [18.213334065233465]
FReM: Flexible Reasoning Mechanism(フレキシブル推論機構)は,各質問の複雑さに応じて推論深度を調整する手法である。
具体的には、FReMは合成参照QAの例を利用して、明確な思考の連鎖を提供し、単純なクエリの効率的な処理を可能にする。
7つのQAデータセットの実験から、FReMは推論精度とスケーラビリティ、特に複雑なマルチホップ問題を改善することが示されている。
論文 参考訳（メタデータ） (2025-03-29T06:20:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。