論文の概要: Model Guides You How to Draw: Adaptive Visual Gating for Unified Multimodal Reasoning

• arxiv url: http://arxiv.org/abs/2607.10004v1
• Date: Fri, 10 Jul 2026 22:03:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.273779
• Title: Model Guides You How to Draw: Adaptive Visual Gating for Unified Multimodal Reasoning
• Title（参考訳）: Model Guides You Draw: 統一マルチモーダル推論のための適応型ビジュアルゲーティング
• Abstract要約: 統合マルチモーダル推論のための学習自由適応型視覚ゲーティング手法を提案する。 AdaViGは、初期の視覚生成段階で、各トリガされた視覚ステップを動的に評価し、両方の信号が弱いときにそれを中止する。
• 参考スコア（独自算出の注目度）: 43.37915637521463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified multimodal models (UMMs) with interleaved reasoning, which generate both textual and visual steps as part of intermediate reasoning traces, have demonstrated great potential for visual mathematical reasoning tasks. However, we identify a key insight in this paradigm: generating intermediate visual reasoning steps is not always beneficial and can even be harmful, as self-generated visual steps may introduce erroneous visual evidence that misleads subsequent reasoning. Moreover, frequently triggering visual steps during reasoning incurs substantial computational and memory overhead, degrading inference efficiency. To address these accuracy and efficiency challenges, we observe that the model's internal signals can indicate whether a visual step will benefit reasoning before the entire visual generation is completed. Specifically, this work identifies two internal signals: 1) Generation Intent, which reflects whether the model has a concrete textual plan for what to draw, and 2) Visual Fidelity, which measures whether the visual generation remains grounded in the original input image. Leveraging these internal signals, we propose AdaViG, a training-free adaptive visual gating method for unified multimodal reasoning. AdaViG dynamically evaluates each triggered visual step at an early visual generation stage and aborts it when both signals are weak, thereby preventing misleading visual evidence from entering the reasoning trace while avoiding unnecessary computation. Comprehensive experiments demonstrate that AdaViG improves accuracy by up to 5.7% while reducing visual generation FLOPs by 25.0%-91.0% and wall-clock latency by 15.4%-45.6%.
• Abstract（参考訳）: 中間的推論トレースの一部として、テキストと視覚の両方のステップを生成するインターリーブ推論を備えた統一マルチモーダルモデル(UMM)は、視覚数学的推論タスクに大きな可能性を示している。 しかし、私たちはこのパラダイムにおける重要な洞察を識別する: 中間的な視覚的推論ステップを生成することは必ずしも有益ではなく、有害であることもある。 さらに、推論中に視覚ステップを頻繁にトリガーすると、計算とメモリのオーバーヘッドが大きくなり、推論効率が低下する。 これらの精度と効率の課題に対処するために、モデルの内部信号は、視覚生成が完了する前に、視覚的なステップが推論の恩恵を受けるかどうかを示すことができる。 具体的には、この研究は2つの内部信号を特定します。 1 モデルに何を描くかの具体的なテキストプランがあるか否かを反映した生成インテント 2)元の入力画像に視覚的生成が残されているかどうかを測定する視覚的忠実度。 これらの内部信号を活用することで、統合マルチモーダル推論のためのトレーニング不要適応型視覚ゲーティング手法であるAdaViGを提案する。 AdaViGは、初期視覚生成段階で、各トリガされた視覚ステップを動的に評価し、両方の信号が弱いときに中断し、不必要な計算を回避しながら、誤った視覚的証拠が推論トレースに入るのを防ぐ。 総合的な実験により、AdaViGの精度は最大5.7%向上し、視覚生成FLOPは25.0%-91.0%、ウォールクロックは15.4%-45.6%低下した。

関連論文リスト

• DICA: Dual-Indicator Guided Contrastive Alignment in Multimodal Large Language Models [13.261187830239797]
  本研究ではDICA(Dual-Indicator Guided Contrastive Alignment)を提案する。 DICAは、視覚的注意エントロピー(VAE)と出力画像相関(OIC)の2つの情報理論的指標を追跡する。
  論文  参考訳（メタデータ） (2026-07-27T02:40:49Z)
• MathVis-Fine: Aligning Visual Supervision with Necessity via Progressive Dependency-Guided Training for Multimodal Mathematical Reasoning [9.454419298028888]
  CoT(Chain-of-Thought)推論は、純粋言語ドメインからマルチモーダルシナリオへと拡張されている。 既存のアプローチでは、視覚入力を均質または補助的な信号として扱うことが多い。 数学的推論におけるきめ細かい視覚的依存をモデル化するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-16T13:09:32Z)
• Improving Visual Reasoning with Iterative Evidence Refinement [41.18410988040976]
  視覚言語モデル(VLM)は、画像の上に推論する能力がますます高まっている。 しかし、堅牢な視覚的推論は、基礎となる視覚的証拠において、しばしば中間的なステップを再定義する必要がある。 本稿では、内部表現による画像証拠の再挿入をモデルに訓練するエンド・ツー・エンドのセルフリビジョン・フレームワークであるSIEVEを提案する。
  論文  参考訳（メタデータ） (2026-03-14T21:08:21Z)
• MentisOculi: Revealing the Limits of Reasoning with Mental Imagery [63.285794947638614]
  視覚的解決が可能な多段階推論問題の組である MentisOculi を開発した。 遅延トークンから明示的な生成画像まで,視覚的戦略を評価すると,一般的にはパフォーマンス向上に失敗する。 以上の結果から,視覚的思考がモデル推論の恩恵を受けていないことが示唆された。
  論文  参考訳（メタデータ） (2026-02-02T18:49:06Z)
• CoFFT: Chain of Foresight-Focus Thought for Visual Language Models [61.34272727005052]
  フォレスト・フォーカス思考の連鎖(英語: Chain of Foresight-Focus Thought, CoFFT)は、人間の視覚的認知をエミュレートすることによって視覚的推論を強化する訓練のないアプローチである。 これらの段階は反復的に機能し、推論が視覚的焦点を導き、視覚的焦点がその後の推論を知らせる相互依存サイクルを生成する。 Qwen2.5-VL、InternVL-2.5、Llava-Nextを使った複数のベンチマークでの実証結果では、3.1-5.8%が一貫したパフォーマンス向上を示し、計算オーバーヘッドは増大した。
  論文  参考訳（メタデータ） (2025-09-26T07:46:30Z)
• ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs [98.27348724529257]
  ViCrit (Visual Caption Hallucination Critic) は、VLMを訓練し、人間の手書き画像キャプションの段落に挿入された微妙で合成的な視覚幻覚をローカライズするRLプロキシタスクである。 ViCrit Taskでトレーニングされたモデルは、さまざまなビジョン言語モデルベンチマークで大幅に向上している。
  論文  参考訳（メタデータ） (2025-06-11T19:16:54Z)
• Mitigating Visual Forgetting via Take-along Visual Conditioning for Multi-modal Long CoT Reasoning [53.790502697674754]
  本稿では、画像入力を重要な推論段階に移行する戦略であるTake-Allong Visual Conditioning (TVC)を提案する。 TVCは、推論を通して視覚的なコンポーネントへの注意を維持するのに役立つ。 提案手法は,5つの数学的推論ベンチマークにおいて,最先端の性能を平均で達成する。
  論文  参考訳（メタデータ） (2025-03-17T16:45:12Z)
• Dual Thinking and Logical Processing -- Are Multi-modal Large Language Models Closing the Gap with Human Vision ? [5.076961098583674]
  我々は、人間の視覚における二重思考の枠組みの証拠を提供するために、新しい敵対的データセットを導入する。 私たちの精神物理学的な研究は、急速に続く複数の推論の存在を示しています。 エラーの解析は、視覚処理の早期停止は、関連する情報が欠落する可能性があることを示している。
  論文  参考訳（メタデータ） (2024-06-11T05:50:34Z)
• What Matters When Repurposing Diffusion Models for General Dense Perception Tasks? [49.84679952948808]
  最近の研究は、高密度知覚タスクのためのT2I拡散モデルを簡単に調整することで有望な結果を示す。 拡散前処理における伝達効率と性能に影響を及ぼす重要な要因を徹底的に検討する。 我々の研究は、濃密な視覚認知タスクに特化した効果的な決定論的ワンステップ微調整パラダイムであるGenPerceptの開発において頂点に達した。
  論文  参考訳（メタデータ） (2024-03-10T04:23:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。