論文の概要: TRAPSBench: Vision-Language Models Encode but Fail to Express Epistemic Restraint

• arxiv url: http://arxiv.org/abs/2608.13167v1
• Date: Thu, 13 Aug 2026 12:32:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.517674
• Title: TRAPSBench: Vision-Language Models Encode but Fail to Express Epistemic Restraint
• Title（参考訳）: TRAPSBench:視覚言語モデル
• Abstract要約: 視覚言語モデルでは,回避が必要な時に内部的に識別できるが,いずれにせよ表現に失敗することを示す。 我々はPenalized Epistemic Score (PECS)を導入した。これは、結果が分かっているときにモデルが正しく答えることと、結果が分かっていないときに無視することを要求する新しい頑健な指標である。
• 参考スコア（独自算出の注目度）: 1.4273866043218153
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When visual evidence is occluded or chaotic, models should abstain. In this paper, we show that Vision-Language Models (VLMs) can internally distinguish when abstention is required, but fail to express it anyway. We introduce TRAPSBench, a procedurally generated video benchmark of 1,404 matched physics pairs in which a single targeted change renders the outcome undeterminable from the visual evidence. Furthermore, we introduce Penalized Epistemic Calibration Score (PECS), a new robust metric that requires models to both answer correctly when the outcome is knowable, and abstain when the outcome is not. Across 16 VLMs spanning five families, spontaneous restraint is poor: the best PECS is 0.292. The bottleneck is expression, not perception: linear probes decode answerability from hidden states at up to 0.91 AUROC across physics domains; steering a single-layer void direction causally induces or suppresses abstention. Our results replicate across three open-weight families (Qwen, Gemma, LLaVA). The failure is also more pronounced in visual than textual uncertainty: models detect textual impossibility about 4x more readily than missing visual evidence. Closing this representation--output gap likely requires output-stage interventions.
• Abstract（参考訳）: 視覚的証拠が隠されたり、混乱している場合、モデルは棄却されるべきである。 本稿では,視覚言語モデル (VLM) が, 断念が必要な時に内部的に識別可能であるが, いずれにせよ表現に失敗することを示す。 TRAPSBenchは1,404対のマッチングされた物理対の手続き的に生成されたビデオベンチマークであり、単一のターゲット変更が視覚的証拠から決定不可能な結果を生成する。 さらに,Penalized Epistemic Calibration Score (PECS) を導入し,結果が分かり易い場合にモデルが正しく答えることと,結果が得られない場合に留意することを要求する新しいロバストな指標を提案する。 5つの家系にまたがる16のVLMのうち、自然抑制は乏しく、最も優れたPECSは0.292である。 線形プローブは、物理学領域全体で最大0.91 AUROCの隠れ状態から解答可能性をデコードする。 結果は3つのオープンウェイトファミリー(Qwen, Gemma, LLaVA)で再現される。 モデルは、欠落した視覚的証拠よりも、テキストの不確実性を約4倍容易に検出する。 この表現-出力ギャップを閉じるには、出力ステージの介入が必要になるでしょう。

関連論文リスト

• The Visual Insensitivity Gap: Diagnosing When Vision-Language Models Fail to Use Visual Evidence [1.7844382164707184]
  我々はこの現象を視覚不感ギャップと呼び、サンプルごとの視覚感度指数(VSI)で定量化する。 この仮定は、6つのVLMと3つの知覚的ベンチマークで40%～97%のサンプルで失敗することを示す。
  論文  参考訳（メタデータ） (2026-09-01T08:01:57Z)
• LOCI: A Locator-Critic with Refinement Loop [65.51043732421378]
  VLM(Vision-Language Models)は、複雑な視覚的理解を必要とするタスクに苦戦している。 中心的な問題は、高レベルの推論ではなく、画像に重要な詳細を見つけることに失敗している、と我々は主張する。 証拠検証から視覚検索を分離する学習自由フレームワークであるLocator-Critic(LOCI)を提案する。
  論文  参考訳（メタデータ） (2026-08-31T15:26:00Z)
• Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation [0.0]
  視覚言語モデル(VLM)は、入力画像が圧縮、カメラの揺らぎ、照明不足によって劣化する消費者ハードウェアにますます多くデプロイされている。 我々は,3つの重度レベルで6つのリアルな写真劣化に対して,Qwen2-VL-2B-インストラクトとSmolVLM-インストラクトの2つの小型オープンウェイトVLMを評価した。
  論文  参考訳（メタデータ） (2026-07-24T07:00:32Z)
• The Knowing-Saying Gap: When Probes See Errors that Confidence Misses [20.46211358172975]
  線形プローブは、ほぼ完全精度で言語モデルの劣化コンテキストを検知するが、信頼性の高い故障予測にはならない。 マルチホップ算術連鎖全体において、汚職を検出するプローブは最終解の正しさについて非形式的であることが判明した。 リアルタイムモニタとして、プローブベースの介入は、シャープにモデル化され、エラータイプに依存します。
  論文  参考訳（メタデータ） (2026-07-21T12:13:10Z)
• SPOT-E: Test-Time Entropy Shaping with Visual Spotlights for Frozen VLMs [74.89208610190595]
  本研究では,各インスタンス毎のスポットライトを軽量チューニングにより最適化し,質問条件付きスポットライトを生成するテストタイム手法であるSPOT-Eを提案する。 SPOT-Eは、一貫した利得と、視覚的腐敗下での堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-06-18T13:56:30Z)
• To See or To Please: Uncovering Visual Sycophancy and Split Beliefs in VLMs [1.9349092719498848]
  Tri-Layer Diagnostic Frameworkは、潜在異常検出、ビジュアル必要スコア、コンペティションスコアという3つのメトリクスを通じて幻覚ソースをアンハングルする。 我々の分類では、69.6%のサンプルが視覚的シコファンシーを示しており、モデルは視覚異常を検知するが、ユーザーの期待を満足させるために幻覚を与える。
  論文  参考訳（メタデータ） (2026-03-19T00:15:05Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• Mechanisms of Prompt-Induced Hallucination in Vision-Language Models [58.991412160253276]
  制御されたオブジェクトカウント設定において、プロンプトが画像中のオブジェクト数をオーバーステートする障害モードについて検討する。 刺激誘発幻覚 (PIH) を, 追加訓練を伴わずに40%以上減少させる小さなアテンションヘッドのセットを同定した。 本研究は, 刺激による幻覚を誘発する内的メカニズムについての知見を提示し, モデル特異的な行動の実施方法の違いを明らかにした。
  論文  参考訳（メタデータ） (2026-01-08T18:23:03Z)
• Reading Between the Lines: Abstaining from VLM-Generated OCR Errors via Latent Representation Probes [79.36545159724703]
  隠れ状態や注目パターンの軽量プローブを学習するためのLRP(Latent Representation Probing)を提案する。 LRPは、ベストベースラインよりも吸音精度を7.6%向上させる。 これにより、デプロイメント対応AIシステムを構築するための原則化されたフレームワークが確立される。
  論文  参考訳（メタデータ） (2025-11-25T00:24:42Z)
• Seeing is Believing? Mitigating OCR Hallucinations in Multimodal Large Language Models [24.363156120809546]
  劣化文書理解におけるOCR幻覚評価のための最初のベンチマークであるKIE-HVQAを提案する。 このデータセットには、IDカードと請求書にまたがるテストサンプルが含まれており、OCR信頼性のための実世界の劣化をシミュレートしている。 Qwen2.5-VL 実験により,GPT-4o に対して 7B-パラメータモデルでは幻覚のない精度が 22% 向上していることが示された。
  論文  参考訳（メタデータ） (2025-06-25T06:44:07Z)
• Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification [116.77055746066375]
  大型言語モデル(LLM)は幻覚、すなわちその出力に誤った主張を生じさせることで有名である。 本稿では,トークンレベルの不確実性定量化に基づくファクトチェックと幻覚検出パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-07T17:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。