論文の概要: AmbiSteer: Selectively Eliciting Ambiguity-Aware Responses in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2611.17900v1
- Date: Fri, 13 Nov 2026 08:40:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.339808
- Title: AmbiSteer: Selectively Eliciting Ambiguity-Aware Responses in Vision-Language Models
- Title(参考訳): AmbiSteer:視覚言語モデルにおける曖昧性認識応答の選択的除去
- Abstract要約: 本研究では,アクティベーションステアリングが,あいまいさを意識する行動を引き出すための推論時機構として機能するかどうかを検討する。
本稿では、あいまいさを認識した振る舞いを選択的に引き出す軽量フレームワークであるAmbiSteerを紹介する。
我々の研究は、不確実なマルチモーダル設定におけるモデルの過信を減らすための軽量なアプローチの基盤となる。
- 参考スコア(独自算出の注目度): 32.61222012556697
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Vision-language models (VLMs) often exhibit overconfidence, providing firm answers even when visual evidence is insufficient. A prominent case is referential ambiguity in Visual Question Answering (VQA), where multiple entities in an image are plausible referents of a question. Addressing such cases requires recognizing when ambiguity is present: ambiguous questions can be handled by asking for clarification or enumerating plausible referents, while unambiguous questions should receive a direct answer. Current VLMs struggle with this distinction, often defaulting to a single interpretation. To investigate whether activation steering can serve as an inference-time mechanism to elicit such behaviors, we introduce AmbiSteer, a lightweight framework to selectively elicit ambiguity-aware behavior. Across three VLMs, we find that steering alone has limited and model-dependent effects, while prompting is generally more effective. Combining prompting and steering substantially increases clarification and enumeration behaviors, but also elicits them on unambiguous cases. AmbiSteer addresses this using a linear classifier to predict input ambiguity and condition the steering direction accordingly, increasing the proportion of inputs handled appropriately from 59.0% to 77.0% on average across models. Our work sets the ground for lightweight approaches to reduce model overconfidence in uncertain multimodal settings.
- Abstract(参考訳): 視覚言語モデル(VLM)はしばしば自信過剰を示し、視覚的証拠が不十分な場合でもしっかりとした答えを提供する。
視覚的質問回答(VQA)において、画像内の複数のエンティティが質問のもっともらしい参照であるような参照曖昧性(referenceential ambiguity)が顕著である。
曖昧な質問は、明確化を要求したり、妥当な参照を列挙することで処理できるが、曖昧な質問は直接回答を受けなければならない。
現在のVLMはこの区別に苦慮しており、しばしば単一の解釈をデフォルトにしている。
本研究では,アクティベーションステアリングが,このような行動を引き出すための推論時メカニズムとして機能するかどうかを検討するために,あいまいさを意識した動作を選択的に引き出す軽量フレームワークであるAmbiSteerを紹介する。
3つのVLMで、操舵だけでは限定的かつモデル依存的な効果があるのに対し、プロンプトは一般的により効果的である。
プロンプトとステアリングを組み合わせることで、明確化と列挙の振る舞いが大幅に増大するが、あいまいなケースではそれらも引き起こされる。
AmbiSteerは、入力のあいまいさとステアリング方向の条件を予測するために線形分類器を使用してこの問題に対処し、モデル全体で平均59.0%から77.0%まで適切に処理される入力の割合を増大させる。
我々の研究は、不確実なマルチモーダル設定におけるモデルの過信を減らすための軽量なアプローチの基盤となる。
関連論文リスト
- One More Turn, Less Regret: A Regret-Based Multi-Turn Benchmark for LLMs' Clarification Policies [49.067670811577045]
本稿では,孤立した質問品質ではなく,政策行動として明確化を評価するベンチマークであるRegretBenchを紹介する。
RegretBenchは、意図的な解決、相互作用コスト、非効率な明確化、後悔を計測する。
以上の結果から,有効な明確化には有望な質問以上のものが必要であることが示唆された。
論文 参考訳(メタデータ) (2026-07-23T10:22:11Z) - Clarify, Abstain or Answer? Strategising in Conversation with Belief-Augmented Generation [38.81368744366676]
大規模言語モデル(LLM)はテキスト上の分布を定義し、不確実性の確率的表現と見なすことができる。
提案するBelief-Augmented Generation (BAG) は,これらのKサンプルに対して,会話戦略を決定するための理由を与える。
BAGは6つのモデルのQA精度を改善し、即時のみのベースラインよりも信条に忠実な戦略決定を下す。
論文 参考訳(メタデータ) (2026-05-25T13:29:02Z) - Knowing but Not Showing: LLMs Recognize Ambiguity but Rarely Ask Clarifying Questions [17.694274559676867]
曖昧であいまいであいまいな質問のモデルを3つの設定で評価する。
モデルは、明示的に判断するよう要求されたときに曖昧さを識別することが多いが、QA設定では、圧倒的にデフォルトで答えを指示する。
論文 参考訳(メタデータ) (2026-05-24T22:36:58Z) - Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。
このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
論文 参考訳(メタデータ) (2026-02-06T12:24:26Z) - Plug-and-Play Clarifier: A Zero-Shot Multimodal Framework for Egocentric Intent Disambiguation [60.63465682731118]
エゴセントリックなAIエージェントのパフォーマンスは、基本的にマルチモーダルな意図のあいまいさによって制限される。
ゼロショットでモジュラーなフレームワークであるPlug-and-Play Clarifierを導入し、問題を個別に解決可能なサブタスクに分解する。
我々のフレームワークは,小言語モデルの意図的明確化性能を約30%向上させ,より大きな言語モデルとの競争力を高める。
論文 参考訳(メタデータ) (2025-11-12T04:28:14Z) - The Illusion of Certainty: Uncertainty quantification for LLMs fails under ambiguity [48.899855816199484]
そこで本研究では,第1の曖昧な質問応答(QA)データセットであるMAQA*とAmbigQA*を紹介する。
予測分布とアンサンブルに基づく推定器は、あいまいさの下では基本的に限定的であることを示す。
論文 参考訳(メタデータ) (2025-11-06T14:46:35Z) - From Disagreement to Understanding: The Case for Ambiguity Detection in NLI [3.5164356851161984]
このポジションペーパーでは、自然言語推論(NLI)におけるアノテーションの不一致は単なるノイズではなく、しばしば意味のある変化を反映していると主張している。
まず、あいまいな入力ペアを識別し、それらの型を分類し、次に推論に進む、あいまいさを意識したNLIへのシフトを呼びます。
論文 参考訳(メタデータ) (2025-07-20T20:27:35Z) - Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。
我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。
インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
論文 参考訳(メタデータ) (2023-11-16T00:18:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。