論文の概要: Local Knowledge Powered Conversational Agents
- arxiv url: http://arxiv.org/abs/2010.10150v1
- Date: Tue, 20 Oct 2020 09:34:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 05:35:30.384691
- Title: Local Knowledge Powered Conversational Agents
- Title(参考訳): ローカル知識を活用した会話エージェント
- Authors: Sashank Santhanam, Wei Ping, Raul Puri, Mohammad Shoeybi, Mostofa
Patwary, Bryan Catanzaro
- Abstract要約: ローカル知識とユーザの過去の対話の両方を取り入れた対話フレームワークを提案し,高品質な会話を生成する。
フレームワークとデータセットを用いて、局所的な知識を取り入れることで、情報性、一貫性、現実性などを大幅に改善できることを示す。
我々は,8.3Bパラメータを用いたモデルを用いて,1ターンダイアログ設定において,人間の評価によって評価された人間的な応答を生成することができる。
- 参考スコア(独自算出の注目度): 29.966845949225792
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art conversational agents have advanced significantly in
conjunction with the use of large transformer-based language models. However,
even with these advancements, conversational agents still lack the ability to
produce responses that are informative and coherent with the local context. In
this work, we propose a dialog framework that incorporates both local knowledge
as well as users' past dialogues to generate high quality conversations. We
introduce an approach to build a dataset based on Reddit conversations, where
outbound URL links are widely available in the conversations and the
hyperlinked documents can be naturally included as local external knowledge.
Using our framework and dataset, we demonstrate that incorporating local
knowledge can largely improve informativeness, coherency and realisticness
measures using human evaluations. In particular, our approach consistently
outperforms the state-of-the-art conversational model on the Reddit dataset
across all three measures. We also find that scaling the size of our models
from 117M to 8.3B parameters yields consistent improvement of validation
perplexity as well as human evaluated metrics. Our model with 8.3B parameters
can generate human-like responses as rated by various human evaluations in a
single-turn dialog setting.
- Abstract(参考訳): 最先端の会話エージェントは、大きなトランスフォーマーベースの言語モデルの使用とともに大幅に進歩している。
しかし、これらの進歩にもかかわらず、会話エージェントは、局所的なコンテキストと情報的かつ一貫性のある応答を生成する能力に欠ける。
本研究では,ローカル知識とユーザの過去の対話の両方を取り入れた対話フレームワークを提案し,高品質な会話を生成する。
本稿では,Redditの会話をベースとしたデータセット構築手法を提案する。そこでは,会話中にアウトバウンドURLリンクが広く利用でき,ハイパーリンクされたドキュメントをローカル外部知識として自然に含めることができる。
本研究の枠組みとデータセットを用いて,局所知識を取り入れることで,人間評価を用いた情報提供性,一貫性,現実性の向上が期待できることを示す。
特に,我々のアプローチは,Redditデータセットにおける最先端の会話モデルよりも一貫して優れています。
また、モデルのサイズを117Mから8.3Bに拡大すると、検証の難易度と人間の評価指標が一貫した改善が得られます。
我々は,8.3Bパラメータを用いたモデルを用いて,1ターンダイアログ設定において,人間の評価によって評価された人間的な応答を生成することができる。
関連論文リスト
- $\textit{Dial BeInfo for Faithfulness}$: Improving Factuality of
Information-Seeking Dialogue via Behavioural Fine-Tuning [55.96744451743273]
本稿では,情報探索対話システムを支援する行動調整手法であるBeInfoを紹介する。
私たちは、BeInfoでチューニングされたモデルが、知識ソースにかなり忠実になることを示します。
また、BeInfoで調整された3Bパラメータを持つモデルが実運用時の会話からのデータに対して強い性能を示すことを示す。
論文 参考訳(メタデータ) (2023-11-16T11:25:44Z) - CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog
Evaluation [75.60156479374416]
CGoDialは、Goal指向のダイアログ評価のための、新しい挑戦的で包括的な中国のベンチマークである。
96,763のダイアログセッションと574,949のダイアログがすべて含まれており、異なる知識ソースを持つ3つのデータセットをカバーする。
学術ベンチマークと音声対話のシナリオのギャップを埋めるために、実際の会話からデータを収集したり、クラウドソーシングを通じて既存のデータセットに音声機能を追加する。
論文 参考訳(メタデータ) (2022-11-21T16:21:41Z) - Controllable Dialogue Simulation with In-Context Learning [39.04491297557292]
textscDialogicは、大規模言語モデルに基づく対話シミュレーション手法である。
本手法は,人間の関与を最小あるいはゼロに抑えながら,少数の対話データを迅速に拡張することができる。
我々のシミュレートされた対話は、ほぼ人間に近い流速とアノテーションの精度を持つ。
論文 参考訳(メタデータ) (2022-10-09T06:32:58Z) - Knowledge-Grounded Conversational Data Augmentation with Generative
Conversational Networks [76.11480953550013]
生成会話ネットワークを用いて会話データを自動的に生成する。
我々は、Topical Chatデータセット上で、知識のない会話に対するアプローチを評価した。
論文 参考訳(メタデータ) (2022-07-22T22:37:14Z) - Grounding in social media: An approach to building a chit-chat dialogue
model [9.247397520986999]
豊かな人間のような会話能力を持つオープンドメイン対話システムを構築することは、言語生成における根本的な課題の1つである。
知識に基づく対話生成に関する現在の研究は、主にウィキペディアのような事実に基づく構造化知識ソースを法人化または検索することに焦点を当てている。
本手法は,ソーシャルメディア上での人間の反応行動の模倣によって,システムの生会話能力を向上させることを目的とした,より広範かつシンプルなアプローチである。
論文 参考訳(メタデータ) (2022-06-12T09:01:57Z) - What is wrong with you?: Leveraging User Sentiment for Automatic Dialog
Evaluation [73.03318027164605]
本稿では,次のユーザの発話から自動的に抽出できる情報をプロキシとして利用して,前のシステム応答の質を測定することを提案する。
本モデルは,実際のユーザおよび有償ユーザから収集した音声と書面の両方のオープンドメインダイアログコーパスを一般化する。
論文 参考訳(メタデータ) (2022-03-25T22:09:52Z) - Training Conversational Agents with Generative Conversational Networks [74.9941330874663]
我々は、生成会話ネットワークを使用して、自動的にデータを生成し、社会的会話エージェントを訓練する。
自動メトリクスと人的評価器を用いてTopicalChatのアプローチを評価し、10%のシードデータで100%のデータを使用するベースラインに近いパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-10-15T21:46:39Z) - Evaluating Groundedness in Dialogue Systems: The BEGIN Benchmark [29.722504033424382]
知識ベースの対話エージェントは、Wikipediaページなどの外部に提供される背景情報に基づいて会話を行うように設計されたシステムです。
BEGIN(Benchmark for Evaluation of Grounded Interaction)について紹介します。
beginは、言語モデルに基づく対話システムによって生成された8113の対話ターンからなり、システムの応答と背景情報の関係を人間の注釈で指定する。
論文 参考訳(メタデータ) (2021-04-30T20:17:52Z) - A Few-Shot Semantic Parser for Wizard-of-Oz Dialogues with the Precise
ThingTalk Representation [5.56536459714557]
ウィザード・オブ・オズ(WOZ)会話のための効果的な意味論を構築しようとする以前の試みは、高品質で手動の注釈付きトレーニングセットを取得するのが困難であった。
本稿では,WOZ会話における正確な対話状態を予測できる新しい対話表現とサンプル効率の手法を提案する。
論文 参考訳(メタデータ) (2020-09-16T22:52:46Z) - Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。
提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
論文 参考訳(メタデータ) (2020-05-01T20:01:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。