論文の概要: From Knowing to Abstaining: Bridging the Representation-Action Gap in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.32653v1
• Date: Sat, 26 Sep 2026 14:12:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 21:39:58.064854
• Title: From Knowing to Abstaining: Bridging the Representation-Action Gap in Vision-Language Models
• Title（参考訳）: 知識から達成へ:視覚言語モデルにおける表現-行動ギャップのブリッジ化
• Abstract要約: 本稿では,2段階のショートカットフィルタと品質検証のパイプラインによって構築されたベンチマークであるVAD-R(Visual Answerability Diagnosis with Rationales)を紹介する。 VAD-Rは、それぞれ11.4%と16.3%のリコール率しか持たない、自発的な停止が制限されている。 本稿ではRep2Actを提案する。Rep2Actは、潜在応答可能性認識を明示的な棄却決定に変換する表現対アクションアライメント手法である。
• 参考スコア（独自算出の注目度）: 7.641622965415444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability of vision-language models (VLMs) to abstain from unanswerable questions is as important as their ability to answer answerable ones accurately. Recently, several benchmarks have emerged to evaluate and improve VLM abstention, but they have substantial limitations. First, samples often contain shortcut cues in images or questions that reveal answerability, while an explicit "unanswerable" option further prevents accurate assessment of spontaneous abstention. Second, as training data, they generally provide only binary labels without fine-grained explanations for deeper supervision. To address these limitations, we introduce Visual Answerability Diagnosis with Rationales (VAD-R), a benchmark constructed through a two-stage pipeline of shortcut filtering and quality verification to prevent answerability leakage. Each example is annotated with step-by-step rationales and causal evidence-gap labels. Evaluation of state-of-the-art open- and closed-source VLMs on VAD-R reveals limited spontaneous abstention, with average recall rates of only 11.4% and 16.3%, respectively. Probing analyses show that hidden-state representations in certain layers can effectively distinguish answerability, yet this distinction fails to manifest in final responses. Motivated by this observation, we introduce Rep2Act, a representation-to-action alignment method that translates latent answerability awareness into explicit abstention decisions. Rep2Act improves action accuracy on VAD-R from 56.67% to 86.33% for Qwen2.5-VL-3B and from 59.33% to 88.67% for Qwen2.5-VL-7B. On the out-of-distribution TUBench, Rep2Act achieves an average F1 score of 53.3% with only a 3B model, surpassing the closed-source GPT-4 Turbo and GPT-4o by 16.2% and 1.1%, respectively.
• Abstract（参考訳）: 視覚言語モデル(VLM)が解決不可能な質問を無視する能力は、答え可能な質問に正確に答える能力と同じくらい重要である。 近年、VLMの棄権の評価と改善のためのベンチマークがいくつか出回っているが、かなりの制限がある。 まず、サンプルは、答え可能性を示す画像や質問にショートカットの手がかりを含むことが多いが、明示的な"解決不可能"オプションは、自発的な棄権の正確な評価をさらに妨げている。 第二に、トレーニングデータとして、彼らは一般的に、より深い監督のためのきめ細かい説明なしでバイナリラベルのみを提供する。 これらの制約に対処するために,2段階のショートカットフィルタと品質検証を併用したベンチマークであるVisual Answerability Diagnosis with Rationales (VAD-R)を導入する。 それぞれの例には、ステップバイステップの合理性と因果的エビデンス-ギャップラベルがアノテートされている。 VAD-R における最先端のオープンソース VLM とクローズドソース VLM の評価は、それぞれ 11.4% と 16.3% のリコール率で、自発的な停止が制限されていることを示している。 仮説解析により、特定の層における隠れ状態の表現は、解答可能性を効果的に区別できるが、この区別は最終応答では現れないことが示された。 この観察によって動機づけられたRep2Actは、潜在応答可能性認識を明示的な棄却決定に変換する表現対作用アライメント手法である。 Rep2Actは、Qwen2.5-VL-3Bでは56.67%から86.33%に、Qwen2.5-VL-7Bでは59.33%から88.67%に改善した。 アウト・オブ・ディストリビューション TUBench では、Rep2Act は 3B モデルのみで平均 F1 スコアが 53.3% に達し、それぞれクローズドソース GPT-4 Turbo と GPT-4o を 16.2% と 1.1% で上回っている。

関連論文リスト

• TrAC: Trace-Conditioned Answer Consistency for Efficient Uncertainty Quantification in LLMs [5.676157325165344]
  大規模言語モデル (LLM) は、しかしながら、誤った答えにつながるような、流動的な推論トレースを生成することができる。 TrACは、ある完了した推論トレースに固定されたアクティブ信号とパッシブ信号を組み合わせた正当性管理の不確実性定量化フレームワークである。 TrACはマクロAUROCを1.8%改善し、AURCを8サンプルの自己一貫性に対して3.4%削減する。
  論文  参考訳（メタデータ） (2026-08-01T03:43:31Z)
• Below-Chance Blindness: Prompted Underperformance in Small LLMs Produces Positional Bias Rather than Answer Avoidance [0.0]
  我々は, 強制選択項目上でのBCBによるサンドバッグの識別が, 症状妥当性試験ロジックで可能かどうかを検証した。 12個のモデルドメインの細胞のうち0個がサンドバッグ指導下において有意に低い性能を示した。 本研究では, 位置分布シフトは, このモデルスケールでのインジェクションアンダーパフォーマンスの検出において, 精度以下よりも効果的な行動シグネチャである可能性が示唆された。
  論文  参考訳（メタデータ） (2026-04-28T05:57:23Z)
• Abstain-R1: Calibrated Abstention and Post-Refusal Clarification via Verifiable RL [18.462748083613757]
  明確な意味を持つが、与えられた情報から確実に解決できないクエリについて検討する。 提案するRLVR報酬は,要求できないクエリに対して,明示的な棄却と意味論的に整合した事後明確化を報奨する。 この報酬を用いて、3BモデルであるAbstain-R1をトレーニングする。
  論文  参考訳（メタデータ） (2026-04-18T17:21:40Z)
• Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems [52.83669998269706]
  テキストのみの設定で研究されてきたが、まだマルチモーダルに探索されていない。 現在のベンチマークでは、未解決性を無視するか、現実的な障害モードを見逃す粗末なメソッドに依存している。 MM-AQAは、2つの軸に沿った変換によって解答不能なインスタンスを解答可能なインスタンスから構築するベンチマークである。
  論文  参考訳（メタデータ） (2026-04-16T09:23:22Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• Token-Level Inference-Time Alignment for Vision-Language Models [58.41370989069588]
  VLM(Vision-Language Models)は、現代のマルチモーダルインテリジェンスの重要なバックボーンとなっている。 本稿では,基本VLMを凍結し,その分布を近似する報酬モデルをトレーニングする軽量フレームワークTITAを提案する。 推測中、暗黙の選好信号は報酬モデルと目標VLMの対数確率比として抽出され、密集した自己回帰フィードバックが得られる。
  論文  参考訳（メタデータ） (2025-10-20T09:58:03Z)
• Evaluating Reasoning Faithfulness in Medical Vision-Language Models using Multimodal Perturbations [19.488236277427358]
  視覚言語モデル(VLM)は、しばしばチェーン・オブ・シント(CoT)の説明を生み出す。 胸部X線視覚質問応答(VQA)の臨床的基盤として,制御されたテキストと画像修正を用いてCoT忠実度を探索するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-13T09:28:22Z)
• Video SimpleQA: Towards Factuality Evaluation in Large Video Language Models [77.96693360763925]
  Video SimpleQAは、ビデオコンテキストにおける事実性評価に適した最初の包括的なベンチマークである。 我々の研究は、既存のビデオベンチマークとは以下の重要な特徴によって異なる: 知識: ビデオの明示的な物語を超えた外部知識の統合を要求する。 短い形式の決定的な答え: 回答は、最小のスコアリング分散を持つ短いフォーマットで、曖昧で決定的に正しいものとして作成されます。
  論文  参考訳（メタデータ） (2025-03-24T17:46:09Z)
• Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
  マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。 12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
  論文  参考訳（メタデータ） (2024-11-05T01:11:28Z)
• Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
  VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。 本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。 提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
  論文  参考訳（メタデータ） (2023-06-14T21:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。