論文の概要: Enhancing Visual Dialog State Tracking through Iterative Object-Entity Alignment in Multi-Round Conversations
- arxiv url: http://arxiv.org/abs/2408.06725v1
- Date: Tue, 13 Aug 2024 08:36:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 18:07:03.032563
- Title: Enhancing Visual Dialog State Tracking through Iterative Object-Entity Alignment in Multi-Round Conversations
- Title（参考訳）: 多言語会話における反復的オブジェクト・エンティティアライメントによる視覚的対話状態追跡の強化
- Authors: Wei Pang, Ruixue Duan, Jinfu Yang, Ning Li,
- Abstract要約: MDST(Multi-round Dialogue State Tracking Model)を導入する。
MDSTは、内的対話状態表現を視覚言語表現の2-タプルとして定義し、各ラウンドの対話履歴をキャプチャする。
VisDial v1.0データセットの実験結果は、MDSTが生成環境において新しい最先端性能を達成することを示した。
- 参考スコア（独自算出の注目度）: 3.784841749866846
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Visual Dialog (VD) is a task where an agent answers a series of image-related questions based on a multi-round dialog history. However, previous VD methods often treat the entire dialog history as a simple text input, disregarding the inherent conversational information flows at the round level. In this paper, we introduce Multi-round Dialogue State Tracking model (MDST), a framework that addresses this limitation by leveraging the dialogue state learned from dialog history to answer questions. MDST captures each round of dialog history, constructing internal dialogue state representations defined as 2-tuples of vision-language representations. These representations effectively ground the current question, enabling the generation of accurate answers. Experimental results on the VisDial v1.0 dataset demonstrate that MDST achieves a new state-of-the-art performance in generative setting. Furthermore, through a series of human studies, we validate the effectiveness of MDST in generating long, consistent, and human-like answers while consistently answering a series of questions correctly.
- Abstract（参考訳）: ビジュアルダイアログ(Visual Dialog, VD)は、エージェントが複数ラウンドのダイアログ履歴に基づいて一連の画像関連質問に答えるタスクである。
しかし、従来のVD手法では、対話履歴全体を単純なテキスト入力として扱うことが多く、ラウンドレベルでの会話情報の流れを無視する。
本稿では,対話履歴から学習した対話状態を利用して質問に答えることにより,この制限に対処するMDST(Multi-round Dialogue State Tracking Model)を提案する。
MDSTは、内的対話状態表現を視覚言語表現の2-タプルとして定義し、各ラウンドの対話履歴をキャプチャする。
これらの表現は、現在の疑問を効果的に解き明かし、正確な答えを生み出すことができる。
VisDial v1.0データセットの実験結果は、MDSTが生成環境において新しい最先端性能を達成することを示した。
さらに, 一連の人間の研究を通じて, MDSTが長い, 一貫性があり, 人間の様相を呈し, 一連の質問に対して常に正解し, MDSTの有効性を検証した。
関連論文リスト
- BI-MDRG: Bridging Image History in Multimodal Dialogue Response Generation [21.052101309555464]
MDRG(Multimodal Dialogue Response Generation)は、テキスト、画像、あるいは両方で応答を生成する必要があるタスクである。
これまでの作業は、エンドツーエンドアプローチを採用するのではなく、モデルのイメージ入力と出力の両方の中間ステップとして、テキストのモダリティに依存していた。
本稿では、画像コンテンツに対するテキスト応答の関連性を高めるために、画像履歴情報を活用できるように、応答生成経路をブリッジするBI-MDRGを提案する。
論文 参考訳（メタデータ） (2024-08-12T05:22:42Z) - SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for
Task-Oriented Dialog Understanding [68.94808536012371]
本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから対話表現を学習する,木構造付き事前学習会話モデルを提案する。
提案手法は,7つのデータセットと4つの一般的な対話理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られる。
論文 参考訳（メタデータ） (2022-09-14T13:42:50Z) - Multimodal Dialogue State Tracking [97.25466640240619]
Video-Dialogue Transformer Network (VDTN)は、ビデオと対話の間のコンテキスト依存を学習し、マルチモーダル対話状態を生成する。
VDTNは、オブジェクトレベルの特徴とセグメントレベルの特徴を組み合わせて、ビデオと対話の間のコンテキスト依存を学び、マルチモーダルな対話状態を生成する。
論文 参考訳（メタデータ） (2022-06-16T03:18:42Z) - Beyond the Granularity: Multi-Perspective Dialogue Collaborative
Selection for Dialogue State Tracking [18.172993687706708]
対話状態追跡においては、対話履歴は重要な材料であり、その利用法は異なるモデルによって異なる。
状態更新のために各スロットに対応する対話内容を動的に選択するDiCoS-DSTを提案する。
提案手法は,MultiWOZ 2.1およびMultiWOZ 2.2上での最先端性能を実現し,複数の主流ベンチマークデータセット上での優れた性能を実現する。
論文 参考訳（メタデータ） (2022-05-20T10:08:45Z) - HybriDialogue: An Information-Seeking Dialogue Dataset Grounded on
Tabular and Textual Data [87.67278915655712]
我々は、ウィキペディアのテキストとテーブルの両方を基盤とした、クラウドソーシングされた自然な会話からなる新しい対話データセットHybriDialogueを提示する。
これらの会話は、複雑なマルチホップ質問をシンプルで現実的なマルチターン対話に分解することで生成される。
論文 参考訳（メタデータ） (2022-04-28T00:52:16Z) - Back to the Future: Bidirectional Information Decoupling Network for
Multi-turn Dialogue Modeling [80.51094098799736]
ユニバーサル対話エンコーダとして双方向情報デカップリングネットワーク(BiDeN)を提案する。
BiDeNは過去と将来の両方のコンテキストを明示的に取り入れており、幅広い対話関連のタスクに一般化することができる。
異なる下流タスクのデータセットに対する実験結果は、我々のBiDeNの普遍性と有効性を示している。
論文 参考訳（メタデータ） (2022-04-18T03:51:46Z) - Dialogue Summaries as Dialogue States (DS2), Template-Guided
Summarization for Few-shot Dialogue State Tracking [16.07100713414678]
DST(Few-shot dialogue state tracking)は、この問題に対する現実的な解決策である。
本稿では,対話状態追跡を対話要約問題として再検討する。
論文 参考訳（メタデータ） (2022-03-03T07:54:09Z) - Dialogue State Tracking with Multi-Level Fusion of Predicted Dialogue
States and Conversations [2.6529642559155944]
予測対話状態と会話ネットワークの多レベル融合による対話状態追跡を提案する。
本モデルでは,各発話,対応する最終対話状態,対話スロット間の相互作用をモデル化することにより,各対話ターンに関する情報を抽出する。
論文 参考訳（メタデータ） (2021-07-12T02:30:30Z) - Reasoning in Dialog: Improving Response Generation by Context Reading
Comprehension [49.92173751203827]
マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。
読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
論文 参考訳（メタデータ） (2020-12-14T10:58:01Z) - UniConv: A Unified Conversational Neural Architecture for Multi-domain
Task-oriented Dialogues [101.96097419995556]
ユニコンブ」はタスク指向対話におけるエンドツーエンド対話システムのための新しい統合型ニューラルネットワークである。
我々は、MultiWOZ2.1ベンチマークにおいて、対話状態追跡、コンテキスト・ツー・テキスト、エンドツーエンド設定の包括的な実験を行う。
論文 参考訳（メタデータ） (2020-04-29T16:28:22Z) - Multi-View Attention Network for Visual Dialog [5.731758300670842]
1) エージェントが質問の意味的意図を判断し, 2) 質問関連テキスト, 視覚的内容の調整を行う必要がある。
異種入力に関する複数のビューを利用するマルチビュー注意ネットワーク(MVAN)を提案する。
MVANは、2つの補完モジュールでダイアログ履歴から質問関連情報を効果的にキャプチャする。
論文 参考訳（メタデータ） (2020-04-29T08:46:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。