論文の概要: Human-Robot Dialogue Annotation for Multi-Modal Common Ground
- arxiv url: http://arxiv.org/abs/2411.12829v1
- Date: Tue, 19 Nov 2024 19:33:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-21 16:10:04.309804
- Title: Human-Robot Dialogue Annotation for Multi-Modal Common Ground
- Title(参考訳): マルチモーダル・コモングラウンドのための人間-ロボット対話アノテーション
- Authors: Claire Bonial, Stephanie M. Lukin, Mitchell Abrams, Anthony Baker, Lucia Donatelli, Ashley Foots, Cory J. Hayes, Cassidy Henry, Taylor Hudson, Matthew Marge, Kimberly A. Pollard, Ron Artstein, David Traum, Clare R. Voss,
- Abstract要約: 本稿では,人間とロボットの対話データにアノテートした記号表現の開発について述べる。
遠隔対話では,人間とロボットが不慣れな環境における共同ナビゲーションと探索作業に従事しているが,ロボットは限られた通信制約のため,すぐには高品質な視覚情報を共有できない。
このパラダイム内では、抽象的意味表現の強化である対話-AMRアノテーションを通じて、対話中の1つの発話の命題意味と補間力を取り込む。
- 参考スコア(独自算出の注目度): 4.665414514091581
- License:
- Abstract: In this paper, we describe the development of symbolic representations annotated on human-robot dialogue data to make dimensions of meaning accessible to autonomous systems participating in collaborative, natural language dialogue, and to enable common ground with human partners. A particular challenge for establishing common ground arises in remote dialogue (occurring in disaster relief or search-and-rescue tasks), where a human and robot are engaged in a joint navigation and exploration task of an unfamiliar environment, but where the robot cannot immediately share high quality visual information due to limited communication constraints. Engaging in a dialogue provides an effective way to communicate, while on-demand or lower-quality visual information can be supplemented for establishing common ground. Within this paradigm, we capture propositional semantics and the illocutionary force of a single utterance within the dialogue through our Dialogue-AMR annotation, an augmentation of Abstract Meaning Representation. We then capture patterns in how different utterances within and across speaker floors relate to one another in our development of a multi-floor Dialogue Structure annotation schema. Finally, we begin to annotate and analyze the ways in which the visual modalities provide contextual information to the dialogue for overcoming disparities in the collaborators' understanding of the environment. We conclude by discussing the use-cases, architectures, and systems we have implemented from our annotations that enable physical robots to autonomously engage with humans in bi-directional dialogue and navigation.
- Abstract(参考訳): 本稿では,人間とロボットの対話データにアノテートした記号表現の開発について述べる。
遠隔対話(災害救助や救助作業など)において、人間とロボットが不慣れな環境の協調的なナビゲーション・探索作業に従事しているが、ロボットは限られた通信制約のため、すぐには高品質な視覚情報を共有できない。
対話に参加することは効果的なコミュニケーション方法であり、オンデマンドや低品質の視覚情報は共通基盤を確立するために補うことができる。
本パラダイムでは,抽象的意味表現(Abstract Meaning Representation)を付加したダイアログ-AMRアノテーションを用いて,対話中の1つの発話の命題意味と補間力を取り込む。
次に、マルチフロア対話構造アノテーションスキーマの開発において、話者床内および話者床間の発話が相互にどのように関連しているかのパターンをキャプチャする。
最後に、協調者の環境理解における相違を克服するために、視覚的モダリティが対話に文脈情報を提供する方法を注釈し分析し始める。
我々は、物理的なロボットが双方向の対話やナビゲーションにおいて、自律的に人間と対話できるようなアノテーションから実装したユースケース、アーキテクチャ、システムについて議論することで、結論付けた。
関連論文リスト
- Bridging Information Gaps in Dialogues With Grounded Exchanges Using Knowledge Graphs [4.449835214520727]
対話的接地のための大規模言語モデルの可能性について検討する。
私たちのアプローチでは、5つの知識領域にまたがる人間の会話を注釈付けして、BridgeKGと呼ばれる対話コーパスを作成します。
本研究は,これらのモデルが会話ベースタスクや一般的な予測誤りに対して,コンテキスト内学習をどのように利用するかについての知見を提供する。
論文 参考訳(メタデータ) (2024-08-02T08:07:15Z) - Dialogue Agents 101: A Beginner's Guide to Critical Ingredients for Designing Effective Conversational Systems [29.394466123216258]
本研究は,対話エージェントの主要な特徴,対応するオープンドメインデータセット,およびこれらのデータセットをベンチマークする手法について概説する。
我々は,既存のデータセットの会話から構築された統一dIalogue dataseTであるUNITを提案する。
論文 参考訳(メタデータ) (2023-07-14T10:05:47Z) - Revisiting Conversation Discourse for Dialogue Disentanglement [88.3386821205896]
本稿では,対話談話特性を最大限に活用し,対話の絡み合いを高めることを提案する。
我々は,会話の意味的文脈をより良くモデル化するために,リッチな構造的特徴を統合する構造認識フレームワークを開発した。
我々の研究は、より広範なマルチスレッド対話アプリケーションを促進する大きな可能性を秘めている。
論文 参考訳(メタデータ) (2023-06-06T19:17:47Z) - Enabling Harmonious Human-Machine Interaction with Visual-Context
Augmented Dialogue System: A Review [40.49926141538684]
Visual Context Augmented Dialogue System (VAD) は、マルチモーダル情報を知覚し理解することで人間とコミュニケーションする能力を持つ。
VADは、エンゲージメントとコンテキスト対応の応答を生成する可能性を秘めている。
論文 参考訳(メタデータ) (2022-07-02T09:31:37Z) - Back to the Future: Bidirectional Information Decoupling Network for
Multi-turn Dialogue Modeling [80.51094098799736]
ユニバーサル対話エンコーダとして双方向情報デカップリングネットワーク(BiDeN)を提案する。
BiDeNは過去と将来の両方のコンテキストを明示的に取り入れており、幅広い対話関連のタスクに一般化することができる。
異なる下流タスクのデータセットに対する実験結果は、我々のBiDeNの普遍性と有効性を示している。
論文 参考訳(メタデータ) (2022-04-18T03:51:46Z) - Advances in Multi-turn Dialogue Comprehension: A Survey [51.215629336320305]
対話モデリングの観点から,従来の手法を検討した。
対話理解タスクで広く使用されている対話モデリングの3つの典型的なパターンについて議論します。
論文 参考訳(メタデータ) (2021-03-04T15:50:17Z) - Conversational Norms for Human-Robot Dialogues [0.32228025627337864]
本稿では,会話規範違反に対処するコンピュータ対話システムの開発を支援するために,最近開始された研究プロジェクトについて述べる。
我々のアプローチは,分散文法システム(CDGS)と連携した対話と規範をモデル化することである。
論文 参考訳(メタデータ) (2021-03-02T13:28:18Z) - Structured Attention for Unsupervised Dialogue Structure Induction [110.12561786644122]
本稿では、構造化された注意層を離散潜在状態を持つ変化型リカレントニューラルネットワーク(VRNN)モデルに組み込んで、教師なしの方法で対話構造を学ぶことを提案する。
バニラVRNNと比較して、構造化された注意は、構造的帰納バイアスを強制しながら、ソース文の埋め込みの異なる部分にフォーカスすることができる。
論文 参考訳(メタデータ) (2020-09-17T23:07:03Z) - Is this Dialogue Coherent? Learning from Dialogue Acts and Entities [82.44143808977209]
スイッチボード・コヒーレンス・コーパス(SWBD-Coh)コーパス(Switchboard Coherence corpus,SWBD-Coh)を作成する。
コーパスの統計的分析は、ターンコヒーレンス知覚がエンティティの分布パターンによってどのように影響を受けるかを示している。
DA情報とエンティティ情報を組み合わせたモデルでは,応答選択とターンコヒーレンス評価の両面で最高の性能が得られることがわかった。
論文 参考訳(メタデータ) (2020-06-17T21:02:40Z) - You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。
そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
論文 参考訳(メタデータ) (2020-04-11T12:51:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。