論文の概要: Answer-Level Trust Selection for Physical Vision-Language Reasoning
- arxiv url: http://arxiv.org/abs/2608.19807v1
- Date: Thu, 20 Aug 2026 09:00:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.51779
- Title: Answer-Level Trust Selection for Physical Vision-Language Reasoning
- Title（参考訳）: 物理ビジョンランゲージ推論のためのアンサーレベル信頼選択
- Abstract要約: 本稿では,個別のVLM予測を受理または拒否するAnswer-Level Trust Selection (ATS)を提案する。
ATSは微調整、補助検証、またはモデルの内部ログへのアクセスを必要としない。
我々は,Qwen2.5-VL-7Bおよび20VLMバックボーンの深部におけるATSの評価を行った。
- 参考スコア（独自算出の注目度）: 19.884429996574763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models (VLMs) can estimate physical quantities such as duration, speed, and acceleration from visual observations, but existing benchmarks primarily assess overall model performance against annotated ground truth. In deployment, a key question is whether an individual prediction can be trusted when its ground truth is unavailable. Self-consistency alone may fail to capture important failure modes: a VLM may produce stable-but-wrong estimates or rely on textual priors rather than visual evidence. We formulate answer-level selective prediction for quantitative physical reasoning and propose Answer-Level Trust Selection (ATS), a post-hoc, model-agnostic framework for accepting or rejecting individual VLM predictions. ATS requires no fine-tuning, auxiliary verifier, or access to the model's internal logits. Instead, it aggregates eight interpretable behavioral diagnostic scores derived from repeated queries and controlled interventions into a unified trust score. We evaluate ATS in depth on Qwen2.5-VL-7B and across 20 VLM backbones, examining selective performance, diagnostic behavior, and targeted failure modes. Our results show that intervention-based diagnostics help identify stable-but-wrong and prior-tracking predictions that repeated agreement alone may miss. However, improved failure-case rejection can come at the cost of lower retention of correct predictions. ATS therefore complements model-level capability evaluation with answer-level reliability assessment for quantitative VLM predictions. Code will be released upon publication.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、時間、速度、加速度などの物理量を視覚観測から推定することができるが、既存のベンチマークは主に注釈付き基底真理に対してモデル全体の性能を評価する。
デプロイメントにおいて重要な疑問は、個々の予測が、その基礎的真実が利用できないときに信頼できるかどうかである。
自己整合性だけでは重要な障害モードを捕捉できない可能性がある。
定量的な物理推論のための回答レベル選択予測を定式化し、個別のVLM予測を受け入れ、拒否するためのポストホックでモデルに依存しないフレームワークであるAnswer-Level Trust Selection (ATS)を提案する。
ATSは微調整、補助検証、またはモデルの内部ログへのアクセスを必要としない。
代わりに、繰り返しクエリから導かれる8つの解釈可能な行動診断スコアを集約し、統一された信頼スコアに制御される。
我々は,Qwen2.5-VL-7Bおよび20VLMバックボーン上でのATSの深度評価を行い,選択的性能,診断挙動,目標故障モードについて検討した。
以上の結果から, 介入に基づく診断は, 合意の繰り返しだけで見逃す可能性のある, 安定かつ先行追跡予測に有効であることが示唆された。
しかし、改善された失敗ケースの拒絶は、正しい予測の保持を低くするコストがかかる可能性がある。
したがって、ATSは定量的なVLM予測のためのモデルレベルの能力評価と回答レベルの信頼性評価を補完する。
コードは出版時に公開される。
関連論文リスト
- ENCP: Episode-Normalized Conformal Prediction for Vision-and-Language Navigation [1.6640915052639702]
ビジョン・ランゲージ・ナビゲーション(VLN)モデルの不確実性推定は、曖昧で信頼性の低い予測を識別するのに役立つため、重要な課題である。
本研究では,不整合スコアをポリシーの信頼度によって再スケールし,各エピソード毎の最大スコアを校正するEpisode-Normalized Conformal Prediction (ENCP)を提案する。
論文 参考訳（メタデータ） (2026-09-15T17:42:15Z) - EVADE: Evidence-Verified Agentic Diagnosis with Escape [0.880899367147235]
EVADEは、単一の凍結VLMをデプロイする安全性を高めるための推論非トレーニング手法である。
画像全体とズームされたビュー応答の両方が一致する場合にのみコミットする。
ゼロショットに比べて、期待キャリブレーション誤差(ECE)を最大45%削減する。
論文 参考訳（メタデータ） (2026-08-19T11:51:24Z) - Can Vision Language Models Judge Action Quality? An Empirical Evaluation [5.688409551177917]
アクション・クオリティ・アセスメント(AQA)は、理学療法、スポーツコーチング、競争力判定に広く応用されている。
Vision Language Models (VLM) は AQA に対してかなりの保証を持っているが、この領域における実際のパフォーマンスは、ほとんど役に立たないままである。
本稿では,活動領域(例えば,フィットネス,フィギュアスケート,ダイビング,タスク,表現,促進戦略)における最先端VLMの総合評価について述べる。
論文 参考訳（メタデータ） (2026-04-09T14:29:19Z) - Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。
我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。
VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
論文 参考訳（メタデータ） (2026-04-03T15:19:46Z) - VAUQ: Vision-Aware Uncertainty Quantification for LVLM Self-Evaluation [22.921677603408188]
LVLM(Large Vision-Language Models)はしばしば幻覚を呈し、現実世界のアプリケーションに安全な配置を制限している。
LVLM自己評価のための視覚対応不確実性定量化フレームワークVAUQを提案する。
VAUQは、モデルの出力が視覚的証拠に依存するかを明確に測定する。
論文 参考訳（メタデータ） (2026-02-24T16:11:14Z) - On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。
本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。
我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
論文 参考訳（メタデータ） (2026-02-14T01:07:45Z) - Counterfactual VLA: Self-Reflective Vision-Language-Action Model with Adaptive Reasoning [71.19675094463834]
この作業では、モデルが実行前に計画されたアクションを推論し、修正することを可能にする、自己修正型のVLAフレームワークである、Counterfactual VLAを導入している。
CF-VLAはまず、駆動意図を要約した時間分割メタアクションを生成し、その後、メタアクションと視覚コンテキストの両方で条件付けられた反実的推論を実行する。
大規模運転データセットの実験では、CF-VLAは軌道精度を最大17.6%向上し、安全基準を20.5%向上し、適応的思考を示す。
論文 参考訳（メタデータ） (2025-12-30T19:04:17Z) - Explanation-Driven Counterfactual Testing for Faithfulness in Vision-Language Model Explanations [0.8657627742603715]
視覚言語モデル(VLM)はしばしば、説得力があるが予測を導く因果的要因を反映しない、流動的な自然言語説明(NLE)を生成する。
この妥当性と忠実性のミスマッチは、技術的およびガバナンスのリスクを引き起こす。
本稿では,対象VLMの完全自動検証手法であるExplaination-Driven Counterfactual Testing (EDCT)を紹介する。
論文 参考訳（メタデータ） (2025-09-27T15:16:23Z) - Analyzing Uncertainty of LLM-as-a-Judge: Interval Evaluations with Conformal Prediction [13.958280616597385]
本研究は,LLMに基づくスコアリングの予測間隔を共形予測によって提供することにより,不確実性を分析するための最初の枠組みを示す。
我々は,共形予測がカバレッジ保証付きで有効な予測間隔を提供できることを示す広範な実験と分析を行う。
論文 参考訳（メタデータ） (2025-09-23T05:26:28Z) - PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
大きな言語モデル(LLM)は予測不能に失敗することが多い。
これは、安全なデプロイメントを保証する上で、大きな課題となる。
PredictaBoardは,新しいベンチマークフレームワークである。
論文 参考訳（メタデータ） (2025-02-20T10:52:38Z) - A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。
すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。
私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
論文 参考訳（メタデータ） (2024-10-04T15:44:23Z) - Selective "Selective Prediction": Reducing Unnecessary Abstention in Vision-Language Reasoning [67.82016092549284]
本稿では,選択型視覚言語システムの過剰保持を低減するための推論時アルゴリズムReCoVERRを紹介する。
ReCoVERRは、予測のための追加の証拠を提供する画像の中に、関連する手がかりを見つけようとする。
論文 参考訳（メタデータ） (2024-02-23T21:16:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。