論文の概要: Recompute or Reuse? Diagnosing and Mitigating Textual Shortcuts in VLM Self-Reflection
- arxiv url: http://arxiv.org/abs/2608.01930v1
- Date: Mon, 03 Aug 2026 09:02:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.422417
- Title: Recompute or Reuse? Diagnosing and Mitigating Textual Shortcuts in VLM Self-Reflection
- Title(参考訳): リコンプリート・リユース : VLM自己回帰におけるテキストショートカットの診断と修正
- Abstract要約: 先行する思考の連鎖におけるエビデンスを含む推論は、視覚的再計算と行動的に競合するテキストのショートカットを形成することができることを示す。
我々は、事前のCoTから新鮮な計算を分離するトレーニング不要の介入である Fresh-State Attention Firewall (FSAF) を紹介する。
- 参考スコア(独自算出の注目度): 21.066813947519723
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) are expected to revise their reasoning when visual evidence changes. Failures to do so are often attributed to insufficient visual attention or contextual inertia, leaving unclear what models reuse instead of recomputing from the current image. We show that evidence-bearing reasoning in a prior chain of thought (CoT) can form a textual shortcut that competes behaviorally with visual recomputation. Across 16 VLMs, a matched counterfactual analysis identifies evidence-bearing content as the most robust carrier of prior-CoT influence. Removing this evidence-bearing content shifts answer preference more than removing length-matched non-evidence context or the final-answer span, with prior control weakening progressively as more stale evidence is removed. Reordering this evidence also weakens prior control, showing that its organization modulates shortcut strength. Beyond the immediate answer, the shortcut can retain residual influence after answer correction: weakening current-image support shifts preference back toward the prior answer, while repeated prior answers and reused premises arise mainly when the shortcut remains active. To limit this influence, we introduce Fresh-State Attention Firewall (FSAF), a training-free intervention that isolates fresh computation from the prior CoT. Across five VLMs, FSAF raises visual update rate from 35.28% to 53.61% and reduces prior-answer rate from 39.22% to 3.67%. Reliable VLM self-reflection therefore requires more than looking again: fresh visual recomputation must be protected from stale textual reuse.
- Abstract(参考訳): 視覚言語モデル(VLM)は、視覚的エビデンスの変化による推論の見直しが期待されている。
このような失敗は、しばしば視覚的注意不足や文脈的慣性によるものであり、現在のイメージから再計算するのではなく、どのモデルを再利用するかがはっきりしないままである。
先行する思考の連鎖(CoT)におけるエビデンスを含む推論は、視覚的再計算と行動的に競合するテキストのショートカットを形成することができることを示す。
16個のVLMにおいて、一致した反事実分析により、エビデンスを含む内容が、前CoTの影響の最も堅牢なキャリアとして認識される。
このエビデンスを含むコンテンツを削除することは、長さにマッチした非エビデンスコンテキストや最終回答スパンを除去するよりも回答の好みをシフトさせ、より古いエビデンスを取り除くことで、事前制御が徐々に弱まる。
この証拠を順序付けすることで事前の統制も弱まり、組織がショートカット強度を調節することを示す。
直近の回答の他に、ショートカットは回答修正後の残差を保ち得る: 電流イメージサポートの弱化は、優先順位を以前の回答に戻す一方で、繰り返しの前の回答と再利用された前提は、主にショートカットがアクティブなままであるときに発生する。
この影響を抑えるため、前回のCoTから新しい計算を分離するトレーニング不要の介入である Fresh-State Attention Firewall (FSAF) を導入する。
5つのVLMで、FSAFは視覚的更新率を35.28%から53.61%に引き上げ、事前回答率を39.22%から3.67%に下げる。
したがって、信頼性の高いVLM自己回帰は、再び見ること以上のものを必要とします。
関連論文リスト
- Reason Through the Latent! Making Latent Visual Reasoning Necessary [15.899417214884243]
CVRR(Causal Visual Recurrent Reasoning)について紹介する。
CVRRは事前訓練された視覚能力を保持し、反復計算を予測に必要な経路とする。
本研究は,疑問が定まると再帰的内容に敏感な予測が残っており,持続的な視覚的証拠が再帰的軌跡を因果的に修正していることを示す。
論文 参考訳(メタデータ) (2026-09-06T17:39:32Z) - GLaQ: Grounding Latent Queries in Visual Evidence for Multimodal Reasoning [27.232897918541067]
連鎖推論は多モーダルな大言語モデルの問題解決能力を大幅に改善した。
しかし、微細な視覚的証拠は、テキストベースの推論ステップをまたいだ保存と再利用が難しいままである。
GLaQは、逐次ラテントロールアウトをコンテキスト条件付きクエリの固定セットに置き換える、接地型ラテントクエリフレームワークである。
論文 参考訳(メタデータ) (2026-08-16T04:01:08Z) - Look Clearly Before Answering: Mitigating Hallucinations in LVLMs via Saliency-Driven Perceptual Realignment [45.92240827409312]
Saliency-Driven Perceptual Realignment (SDPR) は、推論全体を通して視覚的認知の低下を緩和するトレーニング不要のフレームワークである。
提案するSDPRは,全発生経路における視覚的認知の全体的アライメントのため,幻覚に対して頑健である。
論文 参考訳(メタデータ) (2026-07-18T14:39:16Z) - The Ebb and Flow of Multimodal Focus: Scheduling Visual Relay Windows for Grounded VLM Reasoning [82.58503785830632]
視覚言語モデルはマルチモーダル推論ベンチマークでますます成功するが、言語スタックに入ると視覚的証拠が不安定になることが多い。
本稿では,軽量な学習モジュールを用いたタスク適応型推論時間制御フレームワークTRACEを提案する。
4つのオープンウェイトなVLMバックボーンと7つのベンチマークで、TRACEはグラウンドに敏感な設定で大きく向上している。
論文 参考訳(メタデータ) (2026-07-13T11:44:23Z) - Hidden Forgetting in Continual Multimodal Learning: When Accuracy Survives but Grounding Fails [6.708653593551749]
我々は,MLLMの継続的な適応が,その答えだけでなく,視覚的,テキスト的,OCR,チャート,文書的エビデンスをいかに活用するかを考察する。
モデルが異なるあるいは根拠のないエビデンスチャネルに静かに移行している間に、解答精度を保ちながら、エンフィデントエビデンス利用の忘れを識別する。
我々は,リプレイ不要な依存制約付き連続学習フレームワークであるtextscRCLを提案する。
論文 参考訳(メタデータ) (2026-07-02T10:50:37Z) - When Does a Video-Language Model Stop Watching? Reward Strength Controls the Formation and Reversal of Visual Shortcuts in Multimodal RLVR [0.9061408029414452]
トレーニング時間軸に沿った視覚的ショートカットの形成・反転ダイナミクスについて述べる。
我々は、視覚的ショートカット崩壊を制御可能、時間依存、非対称なプロセスとして再放送する。
論文 参考訳(メタデータ) (2026-06-20T13:48:19Z) - Reasoning Resides in Layers: Restoring Temporal Reasoning in Video-Language Models with Layer-Selective Merging [62.24239343184817]
マルチモーダル適応は、知覚能力を持つ大きな言語モデルに装備するが、言語のみの事前学習から受け継いだ推論能力を弱めることが多い。
ビデオ言語モデルにおける時間的推論を復元するための訓練不要なタスク駆動モデルマージフレームワークであるMERITを提案する。
論文 参考訳(メタデータ) (2026-04-13T12:41:50Z) - A Progressive Training Strategy for Vision-Language Models to Counteract Spatio-Temporal Hallucinations in Embodied Reasoning [49.61652671596548]
「多像幻覚推論」では、前頭と時頭クエリ間の大規模なパフォーマンス低下は、真に理解するのではなく、表面的なショートカットへの依存を示す。
これを軽減するために、我々は、チェーンステップへの詳細な推論と決定的な判断に基づく、時間的連鎖構築という新しいデータセットを開発する。
実験により,本手法は精度を向上するだけでなく,70%以上から6.53%まで,前向きのパフォーマンスギャップも改善することが示された。
論文 参考訳(メタデータ) (2026-04-12T07:48:44Z) - Reflect to Inform: Boosting Multimodal Reasoning via Information-Gain-Driven Verification [55.357038267439684]
Visual Re-Examination (VRE)は、MLLMが視覚的な入力を追加することなく推論中に自律的に視覚的イントロスペクションを実行することができる自己進化型トレーニングフレームワークである。
VREは推論精度と知覚信頼性を継続的に改善し、特にロングチェーン環境では幻覚を著しく低減する。
論文 参考訳(メタデータ) (2026-03-27T12:22:13Z) - Do I Really Know? Learning Factual Self-Verification for Hallucination Reduction [14.310806623700037]
本稿では,一貫性に基づく自己検証を通じて,大規模言語モデルに事実の不確実性を推論する学習時間フレームワークを提案する。
複数のモデルファミリーとスケールで、VeriFYは事実の幻覚率を9.7から53.3%に下げ、リコールはわずかに減少している。
ソースコード、トレーニングデータ、トレーニングされたモデルチェックポイントは、受け入れ次第リリースされる。
論文 参考訳(メタデータ) (2026-02-02T12:15:50Z) - The Illusion of Forgetting: Attack Unlearned Diffusion via Initial Latent Variable Optimization [51.835894707552946]
非学習型防衛は拡散モデル(DM)からNot-Safe-For-Work概念を浄化すると主張している
本研究では,未学習が言語記号と基礎知識のマッピングを部分的に破壊し,休眠記憶として残り続けることを示す。
IVOは、壊れたマッピングを再構築することで、これらの休眠記憶を再活性化する簡潔で強力な攻撃フレームワークである。
論文 参考訳(メタデータ) (2026-01-30T02:39:51Z) - Counterfactual Cross-modality Reasoning for Weakly Supervised Video
Moment Localization [67.88493779080882]
ビデオモーメントのローカライゼーションは、自然言語クエリに従って、未トリミングされたビデオのターゲットセグメントを取得することを目的としている。
最近の研究は、マスキングクエリの再構築によって引き起こされるモダリティの類似性とは対照的である。
提案手法は, 対実的相互モダリティ推論法である。
論文 参考訳(メタデータ) (2023-08-10T15:45:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。