論文の概要: A Graph-to-Text Approach to Knowledge-Grounded Response Generation in Human-Robot Interaction
- arxiv url: http://arxiv.org/abs/2311.16137v2
- Date: Tue, 01 Apr 2025 12:39:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-02 14:11:48.461464
- Title: A Graph-to-Text Approach to Knowledge-Grounded Response Generation in Human-Robot Interaction
- Title（参考訳）: 人-ロボットインタラクションにおける知識中心応答生成のためのグラフからテキストへのアプローチ
- Authors: Nicholas Thomas Walker, Stefan Ultes, Pierre Lison,
- Abstract要約: 本稿では,対話状態のグラフベース表現に基づく人間-ロボット間相互作用の新しい対話モデルを提案する。
ユーザの発話に応答するために使用されるニューラルネットワークモデルは、シンプルだが効果的なグラフ・トゥ・テキスト機構に依存している。
提案手法はヒューマノイドロボットを用いたユーザスタディにより実験的に評価される。
- 参考スコア（独自算出の注目度）: 2.098944952054856
- License:
- Abstract: Knowledge graphs are often used to represent structured information in a flexible and efficient manner, but their use in situated dialogue remains under-explored. This paper presents a novel conversational model for human--robot interaction that rests upon a graph-based representation of the dialogue state. The knowledge graph representing the dialogue state is continuously updated with new observations from the robot sensors, including linguistic, situated and multimodal inputs, and is further enriched by other modules, in particular for spatial understanding. The neural conversational model employed to respond to user utterances relies on a simple but effective graph-to-text mechanism that traverses the dialogue state graph and converts the traversals into a natural language form. This conversion of the state graph into text is performed using a set of parameterized functions, and the values for those parameters are optimized based on a small set of Wizard-of-Oz interactions. After this conversion, the text representation of the dialogue state graph is included as part of the prompt of a large language model used to decode the agent response. The proposed approach is empirically evaluated through a user study with a humanoid robot that acts as conversation partner to evaluate the impact of the graph-to-text mechanism on the response generation. After moving a robot along a tour of an indoor environment, participants interacted with the robot using spoken dialogue and evaluated how well the robot was able to answer questions about what the robot observed during the tour. User scores show a statistically significant improvement in the perceived factuality of the robot responses when the graph-to-text approach is employed, compared to a baseline using inputs structured as semantic triples.
- Abstract（参考訳）: 知識グラフは、しばしば柔軟で効率的な方法で構造化された情報を表現するために使用されるが、それらの位置の対話における使用は、未探索のままである。
本稿では,対話状態のグラフベース表現に基づく人間-ロボット間相互作用の新しい対話モデルを提案する。
対話状態を表す知識グラフは、言語、位置、マルチモーダル入力を含むロボットセンサからの新たな観察によって継続的に更新され、特に空間的理解のために他のモジュールによってさらに強化される。
ユーザの発話に応答するために使用されるニューラルネットワークモデルは、対話状態グラフをトラバースし、トラバースを自然言語形式に変換する、シンプルだが効果的なグラフからテキストへのメカニズムに依存している。
この状態グラフのテキストへの変換は、パラメータ化された関数のセットを使用して行われ、それらのパラメータの値は、Wizard-of-Ozインタラクションの小さなセットに基づいて最適化される。
この変換の後、対話状態グラフのテキスト表現は、エージェント応答を復号するために使用される大きな言語モデルのプロンプトの一部として含まれる。
提案手法は,対話相手として機能するヒューマノイドロボットを用いたユーザスタディにより,応答生成に対するグラフ・テキスト・メカニズムの影響を実証的に評価する。
ロボットを屋内環境のツアーに沿って移動させた後、参加者は音声対話を用いてロボットと対話し、ツアー中にロボットが何を見たかという質問に答えることができた。
ユーザスコアは、意味三重項として構造化された入力を用いたベースラインと比較して、グラフからテキストへのアプローチを用いた場合のロボット応答の認識事実性において統計的に有意な改善を示す。
関連論文リスト
- Learning Manipulation by Predicting Interaction [85.57297574510507]
本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。
実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
論文 参考訳（メタデータ） (2024-06-01T13:28:31Z) - A Multi-Modal Explainability Approach for Human-Aware Robots in Multi-Party Conversation [38.227022474450834]
本稿では,従来の最先端技術と比較して性能が向上したアドレス推定モデルを提案する。
また、上記のアーキテクチャに説明可能性と透明性を組み込むいくつかの方法を提案する。
論文 参考訳（メタデータ） (2024-05-20T13:09:32Z) - I Was Blind but Now I See: Implementing Vision-Enabled Dialogue in
Social Robots [0.040792653193642496]
本稿では、従来のテキストベースのプロンプトをリアルタイム視覚入力で強化する対話マネージャの初期実装について述べる。
システムの迅速なエンジニアリングは、画像の要約と対話を組み込むことで、コンテキスト保存と計算効率のバランスを確保する。
論文 参考訳（メタデータ） (2023-11-15T13:47:00Z) - Retrieval-Augmented Neural Response Generation Using Logical Reasoning
and Relevance Scoring [2.3590037806133024]
本稿では,知識基底型応答生成に対する新しいアプローチを提案する。
検索強化された言語モデルと論理的推論を組み合わせる。
実験結果から,(確率的)論理的推論と会話関連性スコアの組合せは,応答の事実性と流布性の両方を増大させることが示された。
論文 参考訳（メタデータ） (2023-10-20T15:05:18Z) - Interactive Natural Language Processing [67.87925315773924]
対話型自然言語処理(iNLP)は,NLP分野における新しいパラダイムとして登場した。
本稿では,iNLPの概念の統一的定義と枠組みを提案することから,iNLPに関する包括的調査を行う。
論文 参考訳（メタデータ） (2023-05-22T17:18:29Z) - GraphWOZ: Dialogue Management with Conversational Knowledge Graphs [2.938377447673471]
本稿では,対話状態のコア表現として会話知識グラフを用いた対話管理手法を提案する。
我々は、人間の参加者が受付係として働くロボットと対話するウィザード・オブ・オズの対話を含む新しいデータセット、GraphWOZを導入する。
論文 参考訳（メタデータ） (2022-11-23T10:53:21Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳（メタデータ） (2022-02-16T00:23:42Z) - GRADE: Automatic Graph-Enhanced Coherence Metric for Evaluating
Open-Domain Dialogue Systems [133.13117064357425]
自動対話評価のためのグラフ強調表現のための新しい評価指標GRADEを提案する。
具体的には、対話コヒーレンスを評価するために、粗粒度発話レベルの文脈化表現と細粒度トピックレベルのグラフ表現の両方を組み込んでいる。
実験の結果,GRADEは多様な対話モデルの測定において,他の最先端の指標よりも優れていた。
論文 参考訳（メタデータ） (2020-10-08T14:07:32Z) - How To Evaluate Your Dialogue System: Probe Tasks as an Alternative for
Token-level Evaluation Metrics [47.20761880464552]
生成的対話モデリングは言語モデリングタスクとして広く見なされている。
このタスクは、エージェントが入力テキストを複雑な自然言語で理解し、ユーザと意味のある対話を行うように要求する。
使用される自動メトリクスは、生成されたテキストの品質を、エージェントの全体的相互作用のプロキシとして評価する。
論文 参考訳（メタデータ） (2020-08-24T13:28:35Z) - You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。
そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
論文 参考訳（メタデータ） (2020-04-11T12:51:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。