論文の概要: Debias in Text, Believe Your Eyes: Text-Anchored Cross-Modal Transfer for Visual Counter-Commonsense Reasoning
- arxiv url: http://arxiv.org/abs/2608.06938v1
- Date: Fri, 07 Aug 2026 08:10:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.410249
- Title: Debias in Text, Believe Your Eyes: Text-Anchored Cross-Modal Transfer for Visual Counter-Commonsense Reasoning
- Title（参考訳）: Debias in Text, Believe your Eyes: Text-Anchored Cross-Modal Transfer for Visual Counter-Commonsense Reasoning
- Abstract要約: 最近の研究は、視覚入力の強化による視覚対共感覚推論の改善を中心にしている。
視覚的なトレーニングデータを必要としない共有言語デコーダを除去するテキスト編集後トレーニングフレームワークであるTACTを紹介する。
TACTは、一般的な能力を保ちながら視覚的推論を大幅に改善し、効果的なテキスト間相互移動を示す。
- 参考スコア（独自算出の注目度）: 21.36422191204697
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The visual reasoning ability of multimodal large language models (MLLMs) is crucial for downstream applications, particularly counter-commonsense reasoning, which requires models to reason beyond common assumptions. Recent studies mainly improve visual counter-commonsense reasoning by enhancing visual inputs, following the assumption that failures originate from insufficient visual grounding. However, our empirical analysis reveals that the bottleneck is not visual perception. MLLMs already capture the relevant visual evidence, and the correct answer exists in their decoding space. Instead, the shared language decoder resolves prior--evidence conflicts by favoring dominant language priors, especially for low-frequency factual scenarios. Motivated by this, we first propose a text-anchored data construction pipeline, whose core component, Fact-Frequency Distillation (FFD), estimates the prior strength of commonsense facts and distills verified counter-commonsense scenarios into a high-quality text corpus. Building upon this corpus, we introduce TACT, a text-anchored post-training framework that debiases the shared language decoder without requiring any visual training data. TACT routes evidence-following and prior-driven reasoning trajectories into different optimization stages, enabling the decoder to resolve prior--evidence conflicts. Across counter-commonsense visual benchmarks, TACT substantially improves visual reasoning while preserving general capabilities, demonstrating effective text-to-vision cross-modal transfer.
- Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)の視覚的推論能力は、ダウンストリームアプリケーション、特に一般的な仮定以上の推論を必要とする反常識推論に不可欠である。
近年の研究では、視覚的インプットを強化することにより、視覚的反常識推論の改善が主眼を置いている。
しかし,我々の経験的分析から,ボトルネックは視覚的知覚ではないことが明らかとなった。
MLLMはすでに関連する視覚的証拠を捉えており、正しい答えは復号空間に存在する。
代わりに、共有言語デコーダは、特に低頻度の事実シナリオにおいて、支配的な言語優先を優先することで、事前証拠の衝突を解決する。
そこで本研究では,まず,Fact-Frequency Distillation (FFD) のコアコンポーネントであるテキスト合成データ構築パイプラインを提案し,コモンセンス事実の事前の強さを推定し,検証済みの反コモンセンスシナリオを高品質なテキストコーパスに蒸留する。
このコーパスに基づいて構築されたTACTは、ビジュアルトレーニングデータを必要とせずに共有言語デコーダを除去するテキスト編集後トレーニングフレームワークである。
TACTはエビデンス追従と事前駆動の推論を異なる最適化段階にルートすることで、デコーダが事前のエビデンス競合を解決することができる。
対向コモンセンスのビジュアルベンチマーク全体にわたって、TACTは一般的な能力を保ちながら視覚的推論を大幅に改善し、効果的なテキストと視覚の相互移動を示す。
関連論文リスト
- Staying VIGILant: Mitigating Visual Laziness via Counterfactual Visual Alignment in MLLMs [34.999900039604846]
MLLM(Multimodal large language model)は、大きな言語モデル(LLM)を視覚的に拡張し、画像やテキストに対する共同推論を可能にする。
機械学的な研究は、この弱点が視覚的な怠慢に由来することを示唆している。
本稿では,視覚情報ゲイン・イン・アライメント(VIGIL)を提案する。
論文 参考訳（メタデータ） (2026-06-24T21:12:24Z) - TVI-CoT: Text-Visual Interleaved Chain-of-Thought Reasoning for Multimodal Understanding [10.402346011516423]
思考の連鎖(CoT)推論は、大規模言語モデルにおける問題解決の強化に有効であることが証明されている。
既存のCoTアプローチは基本的な制限に悩まされており、完全にテキストで推論を行う。
テキスト推論と視覚的特徴アクセスの明示的なインターリーブを実現するためのテキスト・ビジュアル・インターリーブド・チェーン・オブ・ワット(TVI-CoT)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-07T05:58:39Z) - Look on Demand: A Cognitive Scheduling Framework for Visual Evidence Acquisition in Multimodal Reasoning [82.86343313807158]
我々は、視覚的証拠が推論プロセスにどのように、いつ導入されるかが中心的な課題であると主張している。
この知見により,言語モデルが推論プロセスを制御するマルチモーダル推論フレームワークCSMRを提案する。
論文 参考訳（メタデータ） (2026-05-27T08:43:13Z) - Do Vision-Language Models Truly Perform Vision Reasoning? A Rigorous Study of the Modality Gap [14.392019191368746]
近年,視覚言語モデル (VLM) の推論が注目されている。
我々はクロスモーダル比較の制御のために設計された新しいマルチモーダル推論ベンチマークであるCrossMathを紹介する。
我々は,同じタスク関連情報を保証するために,テキストのみ,画像のみ,画像+テキストフォーマットで各問題を構築する。
論文 参考訳（メタデータ） (2026-04-17T17:15:18Z) - Render-of-Thought: Rendering Textual Chain-of-Thought as Images for Visual Latent Reasoning [23.364264811510598]
CoT(Chain-of-Thought)の促進により、LLM(Large Language Models)の推論能力の解放に成功した。
Render-of-Thought (RoT) は、画像にテキストステップを描画することで推論チェーンを再構築する最初のフレームワークである。
提案手法は, 明示的なCoTに比べて3～4倍のトークン圧縮と相当な推論高速化を実現する。
論文 参考訳（メタデータ） (2026-01-21T08:09:25Z) - DIVER: Dynamic Iterative Visual Evidence Reasoning for Multimodal Fake News Detection [6.225860651499494]
多モーダル偽ニュース検出は、敵対的誤報の軽減に不可欠である。
進化的,エビデンス駆動推論パラダイムに基づくフレームワークであるDIVER(Dynamic Iterative Visual Evidence Reasoning)を提案する。
Weibo、Weibo21、GossipCopの実験では、DIVERは最先端のベースラインを平均2.72%上回っている。
論文 参考訳（メタデータ） (2026-01-12T04:01:33Z) - Seeing to Act, Prompting to Specify: A Bayesian Factorization of Vision Language Action Policy [59.44168425139687]
BayesVLA(ベイズVLA)は、前もってポリシーを視覚的アクションに分解し、ルック・トゥ・アクティベーションと言語条件付き可能性をサポートし、即時特定を可能にするベイズ因子化である。
実験は、既存の方法と比較して、目に見えない命令、オブジェクト、環境に対して優れた一般化を示す。
論文 参考訳（メタデータ） (2025-12-12T01:59:23Z) - When Thinking Drifts: Evidential Grounding for Robust Video Reasoning [68.75730050161219]
CoT(Chain-of-Thought)メカニズムは、テキストベースのタスクにおける推論を強化した。
CoTはビデオ推論のパフォーマンスを劣化させ、冗長だが内部のモノローグを誤解させる。
ビジュアルエビデンス・リワード(Visual Evidence Reward、VER)は、ビジュアルエビデンスに根ざした推論トレースの生成に明示的に報いる強化学習フレームワークである。
論文 参考訳（メタデータ） (2025-10-07T16:03:33Z) - Seeing Before Reasoning: A Unified Framework for Generalizable and Explainable Fake Image Detection [58.82268659497348]
この失敗の根源は、根本的なミスマッチにある、と私たちは主張する。
本稿では,偽画像検出のための汎用的で説明可能な,会話型アシスタントであるForensic-Chatを提案する。
論文 参考訳（メタデータ） (2025-09-29T20:59:19Z) - Reasoning-Aligned Perception Decoupling for Scalable Multi-modal Reasoning [95.44766931218896]
MLLM(Multi-modal large language model)は、テキストベースの推論に遅れを取っている。
本稿では,MLLMの推論コンポーネントをモジュール化し,容易に置き換え可能なパーセプション推論デカップリングを提案する。
本稿では,視覚知覚最適化(VPO)と呼ばれる新しい強化学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-06-05T02:28:07Z) - A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [58.32070787537946]
思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。
大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
論文 参考訳（メタデータ） (2025-05-29T18:55:05Z) - Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios [69.00444996464662]
RIV-CoT(Retrieval-based Interleaved Visual Chain-of-Thought法)を提案する。
実験の結果, RIV-CoTの解答精度は3.1%向上し, バニラCoTの解答精度は4.6%向上した。
論文 参考訳（メタデータ） (2025-01-08T18:31:16Z) - Fine-Grained Verifiers: Preference Modeling as Next-token Prediction in Vision-Language Alignment [57.0121616203175]
本研究では,視覚言語アライメントを改善するための細粒度検証器として,モデル自身のビジュアルエンコーダを利用する新たな自己アライメント手法であるFiSAOを提案する。
ビジョンエンコーダからのトークンレベルのフィードバックを活用することで、FiSAOは視覚言語アライメントを大幅に改善する。
論文 参考訳（メタデータ） (2024-10-18T03:34:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。