論文の概要: Seeing Is Not Sharing: Some Vision-Language Models Overestimate Common Ground in Asymmetric Dialogue

• arxiv url: http://arxiv.org/abs/2606.31719v1
• Date: Tue, 30 Jun 2026 14:22:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.252557
• Title: Seeing Is Not Sharing: Some Vision-Language Models Overestimate Common Ground in Asymmetric Dialogue
• Title（参考訳）: 見ることは共有されない:非対称対話における共通点を過大評価する視覚言語モデル
• Abstract要約: 共同対話では、共有認識は共有解釈を保証しない。相互理解は相互理解を通じて確立されなければならない。 対話コンテキストと地図情報アクセスを系統的に制御し,視覚言語モデル(VLM)を評価する。 以上の結果から,実際の地図画像の提供により全体の性能は向上するが,モデルが過度に予測されたアライメントにシフトすることが示唆された。
• 参考スコア（独自算出の注目度）: 8.925029287648345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In collaborative dialogue, shared perception does not guarantee shared interpretation. Mutual understanding must be established through interaction. We investigate whether vision-language models (VLMs) can distinguish what could be shared from what has been shared between dialogue participants through grounding. We formulate this as an interpretation-matching task on 13,077 annotated reference expressions from HCRC MapTask dialogues, and evaluate VLMs under systematically controlled manipulations of dialogue context and map-information access. Our results show that providing authentic map images improves overall performance but shifts models toward over-predicting alignment. Textual descriptions of the same map content reproduce this bias, while non-informative images suppress alignment predictions entirely, indicating that the bias is driven by task-relevant map content, not the visual channel. This improvement comes at the cost of degraded accuracy on non-aligned cases. Calibration analysis and reference-chain tracking further suggest that models rely on static referential cues on the maps rather than tracking how grounding unfolds through dialogue history. We observe these patterns most clearly in Qwen3-VL-8B-Instruct and, to varying degrees, in four additional models from two architecture families. In models that exhibit the bias, map content, whether presented visually or textually, is treated as evidence of mutual understanding, conflating potential with established common ground.
• Abstract（参考訳）: 共同対話では、共有認識は共有解釈を保証しない。 相互理解は相互作用を通じて確立されなければならない。 本研究では,視覚言語モデル (VLM) が,対話参加者間で共有されるものと,接地を通して共有されるものとを区別できるかどうかを検討する。 HCRC MapTask対話からの注釈付き参照表現13,077件の解釈マッチングタスクとしてこれを定式化し,対話コンテキストと地図情報アクセスを体系的に制御したVLMの評価を行う。 以上の結果から,実際の地図画像の提供により全体の性能は向上するが,モデルが過度に予測されたアライメントにシフトすることが示唆された。 同じ地図内容のテキストによる記述は、このバイアスを再現するが、非情報的画像はアライメント予測を完全に抑制し、そのバイアスが視覚チャネルではなくタスク関連マップコンテンツによって駆動されることを示す。 この改善は、非整合性ケースの精度低下のコストが伴う。 キャリブレーション解析と参照チェーン追跡は、モデルが対話履歴を通してどのように展開するかを追跡するのではなく、地図上の静的参照キューに依存することを示唆している。 我々はこれらのパターンをQwen3-VL-8B-インストラクションで最も明確に観察し、2つのアーキテクチャファミリーの4つの追加モデルで異なる程度に観察する。 バイアスを示すモデルでは、視覚的にもテキスト的にも、マップの内容は相互理解の証拠として扱われる。

関連論文リスト

• When Seeing Is Not Enough: Benchmarking Interactive Visual Grounding in LVLMs [13.266692327291748]
  視覚的グラウンドティングは、情報的参照表現から視覚的ターゲットへのワンショットマッピングとして評価される。 大規模視覚言語モデルにおける対話型視覚接地のための制御された評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-25T02:12:31Z)
• Attention-Guided Saliency Maps for Interpreting Visualization Literacy in VLMs [4.507919939159203]
  本稿では,変換器モデルを用いた画像上のテキスト生成に適した診断精度マップ手法を提案する。 我々のアプローチは、すべてのヘッドとレイヤにわたる視覚トークンに対する言語モデルの注意を集約し、この注意をビジョンエンコーダのパッチグリッドにマッピングして、イメージ上にローカライズします。
  論文  参考訳（メタデータ） (2026-07-17T16:40:23Z)
• Mirage Probes: How Vision Models Fake Visual Understanding [13.299409525312491]
  視覚言語モデル(VLM)は、画像が提供されていない場合でも、画像ベースの疑問に自信を持って、しばしば正しく答えることができる。 本研究は, 残差流, 注意点, 注意点の内的活性化から, ミラージュ行動が線形に除去可能であることを示す。
  論文  参考訳（メタデータ） (2026-06-11T19:51:44Z)
• Grounded Misunderstandings in Asymmetric Dialogue: A Perspectivist Annotation Scheme for MapTask [8.925029287648345]
  協調的対話は参加者が共通基盤を段階的に確立することに依存しているが、非対称な環境では、異なる実体を参照しながら同意すると信じているかもしれない。 本稿では,HCRC MapTaskコーパスに対するパースペクティビストアノテーション方式を提案する。 13kの注釈付き参照式を信頼度推定で取得し,その結果の理解状態を解析する。
  論文  参考訳（メタデータ） (2025-11-05T18:52:28Z)
• Mind-the-Glitch: Visual Correspondence for Detecting Inconsistencies in Subject-Driven Generation [120.23172120151821]
  本稿では,事前学習した拡散モデルのバックボーンから視覚的特徴と意味的特徴を分離するための新しいアプローチを提案する。 注釈付きセマンティックと視覚対応を備えた画像ペアを構築する自動パイプラインを導入する。 被験者駆動画像生成における視覚的不整合を定量化する新しい指標であるビジュアルセマンティックマッチングを提案する。
  論文  参考訳（メタデータ） (2025-09-26T07:11:55Z)
• Correspondence Matters for Video Referring Expression Comprehension [64.60046797561455]
  ビデオ参照表現(REC)は、文章に記述された参照オブジェクトをビデオフレーム内の視覚領域にローカライズすることを目的としている。 既存の手法では,1)ビデオフレーム間の非一貫性な局所化結果,2)参照オブジェクトとコンテキストオブジェクトの混同という2つの問題に悩まされている。 本稿では、フレーム間およびクロスモーダルの両方で密接な関連性を明確に強化する新しいデュアル対応ネットワーク(DCNet)を提案する。
  論文  参考訳（メタデータ） (2022-07-21T10:31:39Z)
• Can Visual Dialogue Models Do Scorekeeping? Exploring How Dialogue Representations Incrementally Encode Shared Knowledge [19.812562421377706]
  本稿では,VisDialデータセットで事前訓練されたモデルが,スコアスコアリングを適切に行うための表現を段階的に構築する理論に基づく評価手法を提案する。 我々の結論は、対話に沿った共有文とプライベートステートメントを区別する能力は、分析モデルには適度に存在しているが、必ずしも漸進的に一貫性があるとは限らないということである。
  論文  参考訳（メタデータ） (2022-04-14T13:52:11Z)
• Unpaired Referring Expression Grounding via Bidirectional Cross-Modal Matching [53.27673119360868]
  表現基盤の参照はコンピュータビジョンにおいて重要かつ困難な課題である。 本稿では,これらの課題に対処する新しい双方向クロスモーダルマッチング(BiCM)フレームワークを提案する。 私たちのフレームワークは、2つの一般的なグラウンドデータセットで、以前の作業の6.55%と9.94%を上回っています。
  論文  参考訳（メタデータ） (2022-01-18T01:13:19Z)
• $C^3$: Compositional Counterfactual Contrastive Learning for Video-grounded Dialogues [97.25466640240619]
  映像対話システムの目的は、映像理解と対話理解を統合し、対話と映像コンテキストの両方に関連する応答を生成することである。 既存のアプローチのほとんどはディープラーニングモデルを採用しており、比較的小さなデータセットが利用可能であることを考えると、優れたパフォーマンスを実現している。 本稿では,映像対話における実例と反実例の対比学習を開発するために,合成対実的コントラスト学習の新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-16T16:05:27Z)
• Learning Reasoning Paths over Semantic Graphs for Video-grounded Dialogues [73.04906599884868]
  対話文脈(PDC)における推論経路の新しい枠組みを提案する。 PDCモデルは、各質問と回答の語彙成分に基づいて構築されたセマンティックグラフを通じて、対話間の情報フローを発見する。 本モデルでは,この推論経路を通じて視覚情報とテキスト情報を逐次的に処理し,提案する特徴を用いて回答を生成する。
  論文  参考訳（メタデータ） (2021-03-01T07:39:26Z)
• Modality-Balanced Models for Visual Dialogue [102.35406085738325]
  Visual Dialogタスクは、対話に対する次の応答を生成するために、画像情報と会話コンテキスト情報の両方を利用するモデルを必要とする。 過去の共同モダリティ(歴史とイメージ)モデルが過度に再現され,対話履歴を記憶する傾向が強いことを示す。 本稿では,共有パラメータを用いたアンサンブルとコンセンサス・ドロップアウト融合による2つのモデルの統合手法を提案する。
  論文  参考訳（メタデータ） (2020-01-17T14:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。