論文の概要: Don't Blink: Evidence Collapse during Multimodal Reasoning
- arxiv url: http://arxiv.org/abs/2604.04207v1
- Date: Sun, 05 Apr 2026 18:01:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.983233
- Title: Don't Blink: Evidence Collapse during Multimodal Reasoning
- Title（参考訳）: Don't Blink:マルチモーダル推論におけるエビデンス崩壊
- Abstract要約: VLMのリ共振は、より正確になりつつも、視覚的な接点を徐々に失う可能性がある。
これにより、低エントロピー予測は自信はあるものの、根拠のないタスク条件の危険ゾーンが生成される。
この構造を用いて、標的視のベトは、90%のカバレッジで最大1.9ポイントの選択的リスクを減少させる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning VLMs can become more accurate while progressively losing visual grounding as they think. This creates task-conditional danger zones where low-entropy predictions are confident but ungrounded, a failure mode text-only monitoring cannot detect. Evaluating three reasoning VLMs on MathVista, HallusionBench, and MMMU_Pro, we find a pervasive evidence-collapse phenomenon: attention to annotated evidence regions drops substantially, often losing over half of evidence mass, as reasoning unfolds. Full-response entropy is the most reliable text-only uncertainty signal under cross-dataset transfer, yet adding vision features with a single global linear rule is brittle and often degrades transfer. An entropy-vision interaction model reveals a task-conditional regime: lowentropy, visually disengaged predictions are hazardous on sustained visual-reference tasks but benign on symbolic tasks. Using this structure, a targeted vision veto reduces selective risk by up to 1.9 percentage points at 90% coverage, while avoiding degradations where disengagement is expected. The results support task-aware multimodal monitoring for safe deployment under distribution shift.
- Abstract（参考訳）: VLMのリ共振は、より正確になりつつも、視覚的な接点を徐々に失う可能性がある。
これは、低エントロピー予測が自信はあるものの、根拠のないタスク条件の危険ゾーンを生成し、障害モードのテキストのみの監視は検出できない。
MathVista、HalusionBench、MMMU_Proの3つの推論VLMを評価すると、広範囲にわたるエビデンス・崩壊現象が見つかる。
完全応答エントロピーは、クロスデータセット転送において最も信頼性の高いテキストのみの不確実性信号であるが、単一の大域線形規則を持つ視覚的特徴は不安定であり、しばしば転送を劣化させる。
低エントロピー、視覚的に切り離された予測は、持続的な視覚的参照タスクでは危険であるが、象徴的なタスクでは危険である。
この構造を用いて、標的視のベトは、解離が期待される劣化を回避しつつ、90%のカバレッジで最大1.9ポイントの選択的リスクを減少させる。
結果は、分散シフト下での安全な配置のためのタスク対応マルチモーダルモニタリングをサポートする。
関連論文リスト
- When Seeing Overrides Knowing: Visual Dominance and Deferral-Based Method for Personalized Safety in VLMs [54.95635713318535]
視覚言語モデル(VLM)は、一般的に妥当な応答が特定のユーザにとって安全でない場合、ハイテイクな設定でデプロイされることが多い。
マルチモーダルシステムにおけるパーソナライズされた安全性の問題について検討し,MPS-Benchを紹介した。
我々は、ほとんど常に(86-99%)直接応答し、コンテキストの欠如を求めるのではなく、パーソナライズされた安全性において2.6/5を超えないことを発見した。
このメカニズムにより、双方向の相互変調を用いてクエリがいつ要求されるかを予測する軽量な入力モニタであるPRISMを提案する。
論文 参考訳（メタデータ） (2026-09-03T03:58:56Z) - Geometric Collapse: When Vision Models Fail to Verify Physical Causality [52.43819179934414]
スクランブルドエッジ(Scrambled Edges)は、サリアントエッジのようなキューを注入する制御されたカウンターファクトである。
エネルギー整合制御と構造整合制御により, 高周波エネルギーとエッジ間隔から支持エッジエビデンスの効果を分離する。
CNN/ViT/SSL深度予測器を通して、Scrambled Edgesはエネルギー整合ノイズよりもクリーンな予測から最大3.2倍大きな偏差を誘導する。
論文 参考訳（メタデータ） (2026-07-08T00:04:02Z) - SPOT-E: Test-Time Entropy Shaping with Visual Spotlights for Frozen VLMs [74.89208610190595]
本研究では,各インスタンス毎のスポットライトを軽量チューニングにより最適化し,質問条件付きスポットライトを生成するテストタイム手法であるSPOT-Eを提案する。
SPOT-Eは、一貫した利得と、視覚的腐敗下での堅牢性を改善する。
論文 参考訳（メタデータ） (2026-06-18T13:56:30Z) - When the Chain of Thought Knows Better: Failure Modes in Multi-Turn Reasoning Models [7.185483586381928]
マルチターン推論モデルの故障は終端スコア評価にはほとんど見えない。
モデルは長い対話の早い段階で安全でないスタンスにロックすることができるが、その最終ターンの拒絶率は、堅牢に整列されたベースラインと区別できないように見える。
本稿では,CoT出力2x2安全行列のトレースレベル診断を提案する。
論文 参考訳（メタデータ） (2026-06-09T11:50:28Z) - Consistent Yet Wrong: Evidence Insensitivity in Spatial Vision-Language Models [29.66841995436342]
現代の視覚言語モデル(VLM)は、計量距離クエリでは信頼できないままである。
我々は,Hypersim,ScanNet,KITTI360から構築したマルチビュー評価プロトコルであるtextbfViewDiagを紹介する。
安定な予測は、証拠に敏感な推論よりも先駆的な崩壊を反映している可能性が示唆された。
論文 参考訳（メタデータ） (2026-06-01T18:06:08Z) - Detecting Is Not Resolving: The Monitoring Control Gap in Retrieval Augmented LLMs [20.59321114618083]
単一ターン診断はRAGの安全性を体系的に過大評価し、矛盾は安全な解決法とは無関係であり、普遍的な即時修正は存在しないことを示した。
モデルが認識するものと何をするかのギャップは、検索強化されたシステムが高レベルな設定で信頼される前に測定され、クローズされなければならない。
論文 参考訳（メタデータ） (2026-05-26T15:18:43Z) - Silent Collapse in Recursive Learning Systems [24.578102943388256]
トラジェクトリ統計をモニタし、遅い時間スケールの信頼変数を推定する軽量なメタ認知ループを提案する。
MTRは早期警告を提供し、実際のデータにアクセスすることなくサイレント崩壊を積極的に防止する。
論文 参考訳（メタデータ） (2026-05-14T08:59:26Z) - Neural Uncertainty Principle: A Unified View of Adversarial Fragility and LLM Hallucination [60.197429875410286]
大規模言語モデルにおける視覚と幻覚の対立的脆弱性は、伝統的に別の問題と見なされている。
損失誘起状態下でのニューラル不確実性原理(NUP)の定式化により, ほぼバウンド状態においては, さらなる圧縮は感度分散の増大を伴うことが判明した。
視覚では、高度に結合したコンポーネントをマスキングすることで、コストのかかる敵の訓練なしに堅牢性を向上させる。
言語では、任意の応答トークンを生成する前に、同じプレフィルステージプローブが幻覚リスクを検出する。
論文 参考訳（メタデータ） (2026-03-20T02:07:10Z) - Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。
このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
論文 参考訳（メタデータ） (2026-02-06T12:24:26Z) - Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
現実の時系列では欠落値が一般的である。
現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。
このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。
本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
論文 参考訳（メタデータ） (2025-09-27T20:57:48Z) - Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。
クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
論文 参考訳（メタデータ） (2025-05-22T17:11:58Z) - SafetyNet: Detecting Harmful Outputs in LLMs by Modeling and Monitoring Deceptive Behaviors [2.07180164747172]
原子力や航空などのリスクの高い産業は、危険なシステム状態を検出するためにリアルタイムモニタリングを使用している。
教師なしアプローチを用いることで、有害なAI出力が発生する前に予測するリアルタイムフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-20T12:49:58Z) - Hinge-Wasserstein: Estimating Multimodal Aleatoric Uncertainty in Regression Tasks [9.600416563894658]
画像からパラメータ値への回帰について検討し、ここでは確率分布を予測して不確実性を検出することが一般的である。
従来の損失関数は、完全な真実分布が存在しない場合、確率分布の予測が低く、自信が強くなる。
トレーニング中の弱い二次モードのペナルティを低減するために, ハンジ・ワッサースタイン(Hungge-Wasserstein)を提案する。
論文 参考訳（メタデータ） (2023-06-01T11:20:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。