論文の概要: PLACES: Prompting Language Models for Social Conversation Synthesis
- arxiv url: http://arxiv.org/abs/2302.03269v1
- Date: Tue, 7 Feb 2023 05:48:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-08 17:18:03.302437
- Title: PLACES: Prompting Language Models for Social Conversation Synthesis
- Title(参考訳): PLACES:社会会話合成のための言語モデルの提案
- Authors: Maximillian Chen, Alexandros Papangelis, Chenyang Tao, Seokhwan Kim,
Andy Rosenbaum, Yang Liu, Zhou Yu, Dilek Hakkani-Tur
- Abstract要約: 我々は、プロンプトを用いてソーシャルな会話データセットを合成するために、専門家による会話の小さなセットをコンテキスト内例として使用します。
人工会話の徹底的な評価を,人間による会話と比較して行った。
- 参考スコア(独自算出の注目度): 103.94325597273316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Collecting high quality conversational data can be very expensive for most
applications and infeasible for others due to privacy, ethical, or similar
concerns. A promising direction to tackle this problem is to generate synthetic
dialogues by prompting large language models. In this work, we use a small set
of expert-written conversations as in-context examples to synthesize a social
conversation dataset using prompting. We perform several thorough evaluations
of our synthetic conversations compared to human-collected conversations. This
includes various dimensions of conversation quality with human evaluation
directly on the synthesized conversations, and interactive human evaluation of
chatbots fine-tuned on the synthetically generated dataset. We additionally
demonstrate that this prompting approach is generalizable to multi-party
conversations, providing potential to create new synthetic data for multi-party
tasks. Our synthetic multi-party conversations were rated more favorably across
all measured dimensions compared to conversation excerpts sampled from a
human-collected multi-party dataset.
- Abstract(参考訳): 高品質な会話データの収集は、ほとんどのアプリケーションにとって非常に高価であり、プライバシ、倫理的、または同様の懸念のために他のアプリケーションでは不可能である。
この問題に対処するための有望な方向は、大きな言語モデルによって合成対話を生成することである。
本研究では,専門家による会話をテキスト内例として用いて,プロンプトを用いて会話データセットを合成する。
人工会話の徹底的な評価を,人間による会話と比較して行った。
これには、合成された会話を直接評価する会話品質の様々な次元と、合成生成されたデータセットに基づいて微調整されたチャットボットの対話的人間評価が含まれる。
さらに、このプロンプトアプローチが多人数会話に一般化できることを実証し、多人数タスクのための新しい合成データを作成する可能性を示した。
人工多人数会話は、人間の収集した多人数データセットから抽出した会話の抜粋と比較して、すべての次元で好意的に評価された。
関連論文リスト
- Self-Directed Turing Test for Large Language Models [56.64615470513102]
チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すことができるかどうかを調べる。
従来のチューリングテストでは、各参加者が1回に1つのメッセージだけを送信する厳格な対話形式を採用している。
本稿では,バーストダイアログ形式を用いた自己指示チューリングテストを提案する。
論文 参考訳(メタデータ) (2024-08-19T09:57:28Z) - Generating Data with Text-to-Speech and Large-Language Models for Conversational Speech Recognition [48.527630771422935]
複数話者対話型ASRのための合成データ生成パイプラインを提案する。
我々は、電話と遠隔会話音声設定のためのWhisper ASRモデルを微調整して評価を行う。
論文 参考訳(メタデータ) (2024-08-17T14:47:05Z) - Faithful Persona-based Conversational Dataset Generation with Large
Language Models [10.506653172302222]
高品質な会話データセットは、ユーザと通信可能なAIモデルを開発する上で不可欠である。
我々は,会話の質を向上しつつ,初期データセットを拡張するためのGenerator-Criticアーキテクチャフレームワークを提案する。
我々はPersona-Chatからシードされた20万の会話からなるSynthetic-Persona-Chatをリリースする。
論文 参考訳(メタデータ) (2023-12-15T18:23:50Z) - AutoConv: Automatically Generating Information-seeking Conversations
with Large Language Models [74.10293412011455]
合成会話生成のためのAutoConvを提案する。
具体的には,会話生成問題を言語モデリングタスクとして定式化する。
我々は、情報探索プロセスの特徴を捉えるために、人間同士の会話でLLMを微調整する。
論文 参考訳(メタデータ) (2023-08-12T08:52:40Z) - Does Collaborative Human-LM Dialogue Generation Help Information
Extraction from Human Dialogues? [55.28340832822234]
実際のアプリケーションにおける人間の対話の問題解決は、既存のWizard-of-Ozコレクションよりもはるかに複雑である。
本稿では,リアルな対話を合成できる人間間対話生成フレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-13T20:02:50Z) - NatCS: Eliciting Natural Customer Support Dialogues [5.398732055835996]
既存のタスク指向の対話データセットは、実際の顧客サポートの会話を表すものではない。
音声顧客サービス会話のマルチドメインコレクションであるNatCSを紹介する。
論文 参考訳(メタデータ) (2023-05-04T17:25:24Z) - Knowledge-Grounded Conversational Data Augmentation with Generative
Conversational Networks [76.11480953550013]
生成会話ネットワークを用いて会話データを自動的に生成する。
我々は、Topical Chatデータセット上で、知識のない会話に対するアプローチを評価した。
論文 参考訳(メタデータ) (2022-07-22T22:37:14Z) - Summary Grounded Conversation Generation [10.470157142861174]
入力として会話の要約だけを考えると、事前学習された言語モデルがどのように会話全体を生成できるかを示す。
また,会話要約データセットを生成された会話で拡張することにより,会話要約の精度を向上させることができることを示す。
論文 参考訳(メタデータ) (2021-06-07T04:46:31Z) - A Taxonomy of Empathetic Response Intents in Human Social Conversations [1.52292571922932]
自然言語処理コミュニティでは、オープンドメインの会話エージェントがますます人気を高めている。
課題のひとつは、共感的な方法で会話できるようにすることです。
現在のニューラルレスポンス生成手法は、大規模な会話データからエンドツーエンドの学習のみに頼って対話を生成する。
近年,対話act/intentモデリングとニューラルレスポンス生成を組み合わせることが期待されている。
論文 参考訳(メタデータ) (2020-12-07T21:56:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。