論文の概要: Recognizing Dialogue Ambiguity via Candidate Set Visual Grounding

• arxiv url: http://arxiv.org/abs/2610.19723v1
• Date: Wed, 14 Oct 2026 07:48:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.021101
• Title: Recognizing Dialogue Ambiguity via Candidate Set Visual Grounding
• Title（参考訳）: 候補集合視覚接地による対話の曖昧さの認識
• Abstract要約: Candidate Set Visual Groundingは、与えられた対話コンテキストと整合したオブジェクトの集合を推定するタスクである。 CandVGは、ダイアログ間で候補セットがどのように変化するかを評価するベンチマークである。 視覚言語モデルによる評価は、より強力な視覚的グラウンドリング能力が必ずしもCSVGの性能を向上するとは限らないことを示している。
• 参考スコア（独自算出の注目度）: 7.0881583491840745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpreting an ambiguous utterance in real-world interactions often requires context beyond a single utterance. When the utterance refers to objects in a visual scene, it is necessary to maintain and update the set of plausible referents as context accumulates, without assuming that the available information identifies a unique object. However, prior work on interactive visual grounding, which localizes objects referred to by linguistic expressions, has focused on identifying a unique object once sufficient dialogue context becomes available. To address this gap, we propose Candidate Set Visual Grounding (CSVG), a task for estimating the set of objects consistent with the given dialogue context. We further introduce CandVG, a benchmark that evaluates how the candidate set changes across dialogue turns. Our evaluation of vision-language models shows that stronger visual grounding capability does not necessarily yield better CSVG performance. In particular, models have difficulty predicting the complete candidate set, owing to challenges in candidate generation and premature commitment to a small set of candidates in early turns. Nevertheless, we find that this limitation can be partially mitigated in the evaluated large-scale models using instructions designed for CSVG.
• Abstract（参考訳）: 現実世界の相互作用においてあいまいな発話を解釈するには、1つの発話以上の文脈を必要とすることが多い。 発話が視覚的な場面のオブジェクトを指す場合、利用可能な情報がユニークなオブジェクトを特定することを前提とせず、コンテキストが蓄積するにつれて、可視的参照の集合を維持・更新する必要がある。 しかし、言語表現によって参照されるオブジェクトをローカライズするインタラクティブな視覚的グラウンドリングに関する先行研究は、十分な対話コンテキストが利用可能になると、ユニークなオブジェクトを特定することに重点を置いている。 このギャップに対処するために、与えられた対話コンテキストに整合したオブジェクトの集合を推定するタスクであるCSVG(Candidate Set Visual Grounding)を提案する。 さらに、CandVGという、ダイアログ間で候補セットがどのように変化するかを評価するベンチマークについても紹介する。 視覚言語モデルによる評価は、より強力な視覚的グラウンドリング能力が必ずしもCSVGの性能を向上するとは限らないことを示している。 特に、モデルが完全な候補セットを予測するのに苦労しているのは、候補生成の課題と、早期に少数の候補セットへの早期のコミットメントのためである。 それにもかかわらず、CSVG用に設計された命令を用いて評価された大規模モデルでは、この制限を部分的に緩和することができる。

関連論文リスト

• SOCO: Benchmarking Semantic Object Correspondence in Vision Foundation Models [63.28435103335999]
  セマンティックオブジェクト対応のための新しいベンチマークであるSOCOを紹介する。 視覚基盤のバックボーンは強い意味構造をエンコードするが、関連するカテゴリ間での伝達対応は不十分であることを示す。 また,LVLMは画像マッチングよりもテキストプロンプト部分のローカライゼーションが優れていることを示す。
  論文  参考訳（メタデータ） (2026-05-29T17:58:48Z)
• Reasoning over Object Descriptions Improves Coreference Resolution in Task-Based Dialogue Systems [4.617917983223879]
  タスクベースの対話システムは、アクションの実行や情報の検索など、ユーザが特定の目標を達成するのを支援する。 対話の中でオブジェクト参照を特定することを含むため、正確なコア参照解決は不可欠である。 本研究では,大規模言語モデルによる詳細なオブジェクトメタデータと対話履歴の推論を可能にする一元的テスト時推論手法を提案する。
  論文  参考訳（メタデータ） (2026-04-30T13:33:27Z)
• Detecting Referring Expressions in Visually Grounded Dialogue with Autoregressive Language Models [3.8673630752805446]
  本研究の目的は,言語文脈のみが言及の検出にどのような影響を及ぼすかを検討することである。 我々は,事前訓練された大言語モデル (LLM) を用いて,会話の展開における参照スパンの比較的詳細なアノテーションを実行する。 その結果,中程度サイズのLLM,比較的小さなデータセット,パラメータ効率の高い微調整を用いても,テキストのみのアプローチが有効であることが示唆された。
  論文  参考訳（メタデータ） (2025-06-26T14:14:20Z)
• Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
  現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。 この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
  論文  参考訳（メタデータ） (2024-11-20T13:34:22Z)
• Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model [57.78191634042409]
  擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。 4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:55:21Z)
• Contextual Object Detection with Multimodal Large Language Models [66.15566719178327]
  本稿では,コンテキストオブジェクト検出の新たな研究課題について紹介する。 言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。 本稿では、視覚的コンテキストのエンドツーエンドの微分可能なモデリングが可能な統合マルチモーダルモデルContextDETを提案する。
  論文  参考訳（メタデータ） (2023-05-29T17:50:33Z)
• Phrase-Based Affordance Detection via Cyclic Bilateral Interaction [17.022853987801877]
  我々は、視覚言語の観点から、手当を知覚し、困難なフレーズベースの手当検出問題を考察する。 言語と視覚の特徴を段階的に整合させるために,循環的二元整合性向上ネットワーク(CBCE-Net)を提案する。 具体的には、CBCE-Netは、視覚と言語の共通した特徴を進歩的に更新する相互指導型視覚言語モジュールと、循環的に物体との相互作用の認識を容易にする循環的相互作用モジュール(CIM)から構成される。
  論文  参考訳（メタデータ） (2022-02-24T13:02:27Z)
• Evaluation of Audio-Visual Alignments in Visually Grounded Speech Models [2.1320960069210484]
  本研究は,視覚的接地音声(VGS)モデルを用いたマルチモーダル学習の研究である。 視覚オブジェクトと音声単語の整列におけるモデル性能評価のための体系的指標を提案する。 クロスモーダル・アテンションはモデルのセマンティック・クロスモーダル検索性能の向上に役立つことを示す。
  論文  参考訳（メタデータ） (2021-07-05T12:54:05Z)
• ORD: Object Relationship Discovery for Visual Dialogue Generation [60.471670447176656]
  視覚対話生成のためのオブジェクトインタラクションを保存するためのオブジェクト関係探索(ORD)フレームワークを提案する。 階層的なグラフ畳み込みネットワーク (HierGCN) が提案され、オブジェクトノードと近傍の関係を局所的に保持し、オブジェクトとオブジェクトの接続をグローバルに洗練する。 実験により,視覚的関係の文脈情報を活用することにより,対話の質を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2020-06-15T12:25:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。