論文の概要: Balancing Efficiency and Efficacy: Training-Free Attention-Guided Switching Between Explicit and Latent Thoughts for MLLMs

• arxiv url: http://arxiv.org/abs/2608.03450v1
• Date: Tue, 04 Aug 2026 10:46:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.144807
• Title: Balancing Efficiency and Efficacy: Training-Free Attention-Guided Switching Between Explicit and Latent Thoughts for MLLMs
• Title（参考訳）: バランス効率と効率性:MLLMにおける明示的思考と潜在的思考の無注意誘導スイッチング
• Authors: Haoqian Kang, Liupeng Li, Kuofeng Gao, Jinpeng Wang, Zhenyu Lu, Bin Chen, Ke Chen, Yaowei Wang,
• Abstract要約: MLLM(Multimodal Large Language Models)における推論は、きめ細かい視覚認識と厳密な論理推論の両方を必要とする。 明示的なテキストベースのChain-of-Thought (CoT) は計算に高価であり、視覚幻覚を起こしやすい。 既存の潜在的推論手法は、通常、コストのかかる訓練を必要とする。
• 参考スコア（独自算出の注目度）: 44.74237674161132
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning in Multimodal Large Language Models (MLLMs) requires both fine-grained visual perception and rigorous logical deduction. Explicit text-based Chain-of-Thought (CoT) is computationally expensive and prone to visual hallucinations, while existing latent reasoning methods typically require costly training. Furthermore, directly adapting training-free LLM reasoning mechanisms to the multimodal setting yields unstable performance. We identify that this failure stems from their reliance on token-level entropy, which fundamentally conflates perceptual ambiguity (e.g., unclear visual details) with logical uncertainty (e.g., complex reasoning steps). To overcome this bottleneck, we present a novel training-free inference strategy for MLLMs that explicitly decouples perception and reasoning. We propose a novel metric, the vision-to-text attention ratio, to dynamically gauge the model's cognitive focus. Guided by this metric, our proposed framework, Attention-Guided Switching (AGS), adaptively triggers latent reasoning for perceptual tokens to preserve high-fidelity visual information in the continuous space, while enforcing explicit text generation for logical tokens to maintain structural anchoring. Extensive experiments demonstrate that our method achieves state-of-the-art performance, significantly improving both accuracy and inference efficiency by reducing autoregressive steps and latency. Code is released at https://github.com/swordAndSnow/MM26-AGS.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)における推論は、きめ細かい視覚認識と厳密な論理推論の両方を必要とする。 明示的なテキストベースのChain-of-Thought (CoT) は計算コストが高く、視覚幻覚を起こす傾向がある。 さらに、マルチモーダル設定にトレーニングフリーLCM推論機構を直接適用することで、不安定な性能が得られる。 この失敗はトークンレベルのエントロピーに依存しており、概念的曖昧さ(例えば、不明瞭な視覚的詳細)を論理的不確実性(例えば、複雑な推論ステップ)と根本的に混同している。 このボトルネックを克服するために,MLLMの認識と推論を明確に分離する新たなトレーニングフリー推論戦略を提案する。 本稿では,モデルの認知的焦点を動的に計測する新しい指標である視覚とテキストの注意比を提案する。 提案するフレームワークであるAGS(Attention-Guided Switching)は,連続空間における高忠実度視覚情報を保持するために知覚トークンの潜在的推論を適応的に引き起こし,論理トークンが構造的アンカーを維持するための明示的なテキスト生成を強制する。 大規模な実験により,本手法は最先端性能を実現し,自動回帰ステップと遅延を低減し,精度と推論効率を大幅に向上することを示した。 コードはhttps://github.com/swordAndSnow/MM26-AGSで公開されている。

関連論文リスト

• Beyond the Prompt in Large Language Models: Comprehension, In-Context Learning, and Chain-of-Thought [15.598263332303612]
  大規模言語モデル(LLM)は、様々なタスクにまたがる卓越した習熟度を示した。 本研究は,3つの重要な疑問に対処することによって,これらの観測の基礎を掘り下げる。
  論文  参考訳（メタデータ） (2026-02-16T10:57:26Z)
• Accordion-Thinking: Self-Regulated Step Summaries for Efficient and Readable LLM Reasoning [62.680551162054975]
  我々はLLMが動的要約によって推論ステップの粒度を自己制御することを学ぶエンドツーエンドのフレームワークを紹介した。 高い効率のFoldモードと徹底的なUnfoldモードの精度ギャップを徐々に狭めていくという重要な知見を見出し,この能力をさらにインセンティブ化するために強化学習を適用した。 私たちのAccordion-Thinkerは、学習した自己圧縮により、LLMは依存性トークンのオーバーヘッドを最小限に抑えながら複雑な推論タスクに取り組むことができることを示した。
  論文  参考訳（メタデータ） (2026-02-03T08:34:20Z)
• Reasoning-Aligned Perception Decoupling for Scalable Multi-modal Reasoning [95.44766931218896]
  MLLM(Multi-modal large language model)は、テキストベースの推論に遅れを取っている。 本稿では,MLLMの推論コンポーネントをモジュール化し,容易に置き換え可能なパーセプション推論デカップリングを提案する。 本稿では,視覚知覚最適化(VPO)と呼ばれる新しい強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-05T02:28:07Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。