論文の概要: Visual Dependence Does Not Imply Answerability: A Systematic Analysis of Answerability Signals in Frozen InstructBLIP
- arxiv url: http://arxiv.org/abs/2610.17902v1
- Date: Tue, 13 Oct 2026 07:56:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.551867
- Title: Visual Dependence Does Not Imply Answerability: A Systematic Analysis of Answerability Signals in Frozen InstructBLIP
- Title(参考訳): 解答性に影響を及ぼさない視覚的依存 : 解答性信号の系統的解析
- Abstract要約: 凍結したInstructBLIPを用いてUNK-VQAの10Kサブセットの応答性信号を評価する。
解答可能性の差別は依然として弱く、AUROCは0.50-0.54に抑えられている。
本研究は,モデルが視覚的証拠に依存していることと,その証拠が答えを支持するのに十分かどうかを区別する必要性を強調した。
- 参考スコア(独自算出の注目度): 5.925077132582216
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual question answering models often produce plausible responses even when the available visual evidence is insufficient to support a valid answer. Although prior work has introduced benchmarks and abstention mechanisms for unanswerable visual questions, it remains unclear which signals derived from a frozen vision-language model reliably indicate answerability on unseen image-question pairs. We systematically evaluate answerability signals on a stratified 10K subset of UNK-VQA using frozen InstructBLIP, covering predictive uncertainty, cross-modal alignment, visual grounding, visual dependence, internal representations, and learned probes. Answerability discrimination remains weak, with test AUROC largely confined to 0.50-0.54. CLIP alignment yields the highest point estimate but does not significantly outperform generation confidence under paired bootstrap analysis. Targeted removal of question-relevant visual evidence causes substantially larger changes in answer confidence than same-size random masking, yet intervention sensitivity provides essentially no answerability discrimination. Increasing probe capacity, combining multiple signals, and adding reason-aware supervision do not provide robust improvements, while post-freeze cross-validation yields similarly weak discrimination. Selective-answering analysis shows limited usable coverage under low-risk operating criteria. Failure-mode analysis shows that the relative utility of individual signals varies across perturbation mechanisms. Taken together, these results show that, on our UNK-VQA subset with frozen InstructBLIP, visual dependence, uncertainty, semantic alignment, and static representations are not robust standalone proxies for answerability. Our findings emphasize the need to distinguish a model's reliance on visual evidence from whether that evidence is sufficient to support an answer.
- Abstract(参考訳): 視覚的質問応答モデルはしばしば、有効な答えをサポートするのに利用可能な視覚的証拠が不十分である場合でも、妥当な応答を生成する。
以前の研究では、未解決の視覚的問題に対するベンチマークや回避メカニズムが導入されたが、凍結した視覚言語モデルから導かれる信号が、未確認の画像探索対に対して確実に応答可能性を示すかは定かではない。
凍結型InstructBLIPを用いてUNK-VQAの成層化10Kサブセット上での応答性信号の系統的評価を行い,予測の不確実性,クロスモーダルアライメント,視覚的グラウンドニング,視覚的依存,内部表現,学習プローブについて検討した。
解答可能性の差別は依然として弱く、AUROCは0.50-0.54に抑えられている。
CLIPアライメントは最高点推定値を得るが、ペアブートストラップ解析では生成信頼度を著しく上回らない。
疑問に関連した視覚的証拠の除去は、同じ大きさのランダムマスキングよりも解答信頼度が大きく変化するが、介入感度は本質的に解答可能性の識別に寄与しない。
プローブ容量の増大、複数の信号の組み合わせ、理性認識による監視の追加は堅牢な改善にはならないが、凍結後のクロスバリデーションも同様に弱い差別をもたらす。
選択回答分析では,低リスク動作条件下での使用範囲が限られている。
障害モード解析は、個々の信号の相対効用が摂動機構によって異なることを示している。
これらの結果から,UNK-VQAサブセットに凍結したインストラクトBLIP,視覚的依存,不確実性,セマンティックアライメント,静的表現は,応答可能性に対する頑健な独立プロキシではないことが示された。
本研究は,モデルが視覚的証拠に依存していることと,その証拠が答えを支持するのに十分かどうかを区別する必要性を強調した。
関連論文リスト
- Towards Identifiable Representations under Misspecified Structure [63.85888001117966]
既存の結果は、潜伏変数が与えられた観測結果の間で条件付き独立性に依存している。
我々は、この条件因子化が保たない、より一般的な固有構造について研究する。
精度の高い識別性を得るために,スペクトル分離および制御摂動下でのサブスペース識別性を確立し,次いで構造的疎度下でのコンポーネントワイド識別性を示す。
正確な条件が保証されない場合、近似部分空間識別可能性定理を導出する。
論文 参考訳(メタデータ) (2026-09-27T06:28:33Z) - Beyond Relevance: Bayesian Evidence Acquisition for Agentic Whole-Slide Image Reasoning [72.86819994769634]
全体スライド画像推論(WSI)では、診断問題に答える前に、エージェントが視覚的証拠を逐次取得する必要がある。
本稿では,WSI推論をベイズ証拠取得問題として再検討する,プラグイン・アンド・プレイのエージェント・フレームワークBEACONを提案する。
論文 参考訳(メタデータ) (2026-08-06T08:40:57Z) - Mitigating Visual Hallucinations in Multimodal Systems through Retrieval-Augmented Reliability-Aware Inference [1.064167691614925]
本研究は,信頼に値するマルチモーダル視覚理解のための信頼性を考慮した検索フレームワークを提案する。
提案フレームワークは,事前学習された視覚埋め込みと,正規化された特徴表現に対する最寄りの検索を用いて,外部の視覚的エビデンスデータベースを構築する。
ImageNet-100の実験では、提案された信頼性を意識したフレームワークが、89.04%のカバレッジで85.84%から88.88%に改善した。
論文 参考訳(メタデータ) (2026-06-14T12:32:38Z) - When Are Neural Interaction Discoveries Real? Identifiability, Recoverability, and a Pre-Fit Diagnostic [0.0]
これは基本的には、観測された入力支援の幾何学によって支配される識別可能性の問題である。
表現能力が識別可能でないことを示す。
相互作用の回復性はサポート幾何学に依存することを示す。
論文 参考訳(メタデータ) (2026-06-07T00:52:43Z) - UAU-Net: Uncertainty-aware Representation Learning and Evidential Classification for Facial Action Unit Detection [9.627381138509422]
UAU-Netは不確実性を認識したAU検出フレームワークで、両方の段階で不確実性を明示的にモデル化する。
BP4DとdisFAの実験により、UAU-Netは強力なAU検出性能を発揮することが示された。
論文 参考訳(メタデータ) (2026-04-23T02:47:24Z) - Learning to Pay Attention: Unsupervised Modeling of Attentive and Inattentive Respondents in Survey Data [0.14323566945483493]
注意点検などの従来の安全対策は、コストが高く、反応性があり、一貫性がないことが多い。
補完的な教師なしビューを用いた不注意検出のための統一型ラベルフリーフレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-02T22:11:51Z) - Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。
このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
論文 参考訳(メタデータ) (2026-02-06T12:24:26Z) - Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。
我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。
幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
論文 参考訳(メタデータ) (2026-02-04T18:39:58Z) - Nonparametric Identifiability of Causal Representations from Unknown
Interventions [63.1354734978244]
本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。
我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
論文 参考訳(メタデータ) (2023-06-01T10:51:58Z) - Exploiting Independent Instruments: Identification and Distribution
Generalization [3.701112941066256]
我々は、より高い瞬間を考慮に入れ、分布一般化の独立性を利用する。
提案した推定器は楽器の分布シフトに不変であることを示す。
これらの結果は、楽器が因果関数を識別するのに十分な豊かでない場合においても成り立つ。
論文 参考訳(メタデータ) (2022-02-03T21:49:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。