論文の概要: A Graph-to-Text Approach to Knowledge-Grounded Response Generation in
Human-Robot Interaction
- arxiv url: http://arxiv.org/abs/2311.16137v1
- Date: Fri, 3 Nov 2023 15:44:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-03 13:32:08.682991
- Title: A Graph-to-Text Approach to Knowledge-Grounded Response Generation in
Human-Robot Interaction
- Title（参考訳）: 人-ロボットインタラクションにおける知識中心応答生成のためのグラフからテキストへのアプローチ
- Authors: Nicholas Thomas Walker, Stefan Ultes, Pierre Lison
- Abstract要約: 本稿では,対話状態のグラフベース表現に基づく人間-ロボット間相互作用の新しい対話モデルを提案する。
ユーザの発話に応答するために使用されるニューラルネットワークモデルは、シンプルだが効果的なグラフ・トゥ・テキスト機構に依存している。
提案手法はヒューマノイドロボットを用いたユーザスタディにより実験的に評価される。
- 参考スコア（独自算出の注目度）: 2.3590037806133024
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge graphs are often used to represent structured information in a
flexible and efficient manner, but their use in situated dialogue remains
under-explored. This paper presents a novel conversational model for
human--robot interaction that rests upon a graph-based representation of the
dialogue state. The knowledge graph representing the dialogue state is
continuously updated with new observations from the robot sensors, including
linguistic, situated and multimodal inputs, and is further enriched by other
modules, in particular for spatial understanding. The neural conversational
model employed to respond to user utterances relies on a simple but effective
graph-to-text mechanism that traverses the dialogue state graph and converts
the traversals into a natural language form. This conversion of the state graph
into text is performed using a set of parameterized functions, and the values
for those parameters are optimized based on a small set of Wizard-of-Oz
interactions. After this conversion, the text representation of the dialogue
state graph is included as part of the prompt of a large language model used to
decode the agent response. The proposed approach is empirically evaluated
through a user study with a humanoid robot that acts as conversation partner to
evaluate the impact of the graph-to-text mechanism on the response generation.
After moving a robot along a tour of an indoor environment, participants
interacted with the robot using spoken dialogue and evaluated how well the
robot was able to answer questions about what the robot observed during the
tour. User scores show a statistically significant improvement in the perceived
factuality of the robot responses when the graph-to-text approach is employed,
compared to a baseline using inputs structured as semantic triples.
- Abstract（参考訳）: ナレッジグラフは構造化情報を柔軟かつ効率的な方法で表現するためにしばしば用いられるが、位置対話におけるそれらの使用は未検討のままである。
本稿では,対話状態のグラフベース表現に基づく人間-ロボット間相互作用の新しい対話モデルを提案する。
対話状態を表す知識グラフは、言語、位置、マルチモーダル入力を含むロボットセンサからの新たな観察によって継続的に更新され、特に空間的理解のために他のモジュールによってさらに強化される。
ユーザの発話に応答するために使用されるニューラルネットワークモデルは、対話状態グラフをトラバースし、トラバースを自然言語形式に変換する、シンプルだが効果的なグラフからテキストへのメカニズムに依存している。
この状態グラフからテキストへの変換はパラメータ化された関数の集合を用いて行われ、それらのパラメータの値はウィザード・オブ・ozインタラクションの小さなセットに基づいて最適化される。
この変換の後、対話状態グラフのテキスト表現は、エージェント応答をデコードするために使用される大きな言語モデルのプロンプトの一部として含まれる。
提案手法は, 対話相手として行動するヒューマノイドロボットを用いて, 応答生成に対するグラフ・ツー・テキスト機構の影響をユーザ実験により評価した。
ロボットを屋内環境のツアーに沿って移動させた後、参加者は音声対話を用いてロボットと対話し、ツアー中にロボットが何を見たかという質問に答えることができた。
ユーザスコアは、意味三重項として構造化された入力を用いたベースラインと比較して、グラフからテキストへのアプローチを用いた場合のロボット応答の認識事実性の統計的に有意な改善を示す。
関連論文リスト
- Learning Manipulation by Predicting Interaction [85.57297574510507]
本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。
実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
論文 参考訳（メタデータ） (2024-06-01T13:28:31Z) - A Multi-Modal Explainability Approach for Human-Aware Robots in Multi-Party Conversation [39.87346821309096]
本稿では,従来のSOTAと比較して性能が向上したアドレス推定モデルを提案する。
また、上記のアーキテクチャに説明可能性と透明性を組み込むいくつかの方法を提案する。
論文 参考訳（メタデータ） (2024-05-20T13:09:32Z) - I Was Blind but Now I See: Implementing Vision-Enabled Dialogue in
Social Robots [0.040792653193642496]
本稿では、従来のテキストベースのプロンプトをリアルタイム視覚入力で強化する対話マネージャの初期実装について述べる。
システムの迅速なエンジニアリングは、画像の要約と対話を組み込むことで、コンテキスト保存と計算効率のバランスを確保する。
論文 参考訳（メタデータ） (2023-11-15T13:47:00Z) - Retrieval-Augmented Neural Response Generation Using Logical Reasoning
and Relevance Scoring [2.3590037806133024]
本稿では,知識基底型応答生成に対する新しいアプローチを提案する。
検索強化された言語モデルと論理的推論を組み合わせる。
実験結果から,(確率的)論理的推論と会話関連性スコアの組合せは,応答の事実性と流布性の両方を増大させることが示された。
論文 参考訳（メタデータ） (2023-10-20T15:05:18Z) - Interactive Natural Language Processing [67.87925315773924]
対話型自然言語処理(iNLP)は,NLP分野における新しいパラダイムとして登場した。
本稿では,iNLPの概念の統一的定義と枠組みを提案することから,iNLPに関する包括的調査を行う。
論文 参考訳（メタデータ） (2023-05-22T17:18:29Z) - GraphWOZ: Dialogue Management with Conversational Knowledge Graphs [2.938377447673471]
本稿では,対話状態のコア表現として会話知識グラフを用いた対話管理手法を提案する。
我々は、人間の参加者が受付係として働くロボットと対話するウィザード・オブ・オズの対話を含む新しいデータセット、GraphWOZを導入する。
論文 参考訳（メタデータ） (2022-11-23T10:53:21Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳（メタデータ） (2022-02-16T00:23:42Z) - GRADE: Automatic Graph-Enhanced Coherence Metric for Evaluating
Open-Domain Dialogue Systems [133.13117064357425]
自動対話評価のためのグラフ強調表現のための新しい評価指標GRADEを提案する。
具体的には、対話コヒーレンスを評価するために、粗粒度発話レベルの文脈化表現と細粒度トピックレベルのグラフ表現の両方を組み込んでいる。
実験の結果,GRADEは多様な対話モデルの測定において,他の最先端の指標よりも優れていた。
論文 参考訳（メタデータ） (2020-10-08T14:07:32Z) - How To Evaluate Your Dialogue System: Probe Tasks as an Alternative for
Token-level Evaluation Metrics [47.20761880464552]
生成的対話モデリングは言語モデリングタスクとして広く見なされている。
このタスクは、エージェントが入力テキストを複雑な自然言語で理解し、ユーザと意味のある対話を行うように要求する。
使用される自動メトリクスは、生成されたテキストの品質を、エージェントの全体的相互作用のプロキシとして評価する。
論文 参考訳（メタデータ） (2020-08-24T13:28:35Z) - You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。
そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
論文 参考訳（メタデータ） (2020-04-11T12:51:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。