論文の概要: Learning From Free-Text Human Feedback -- Collect New Datasets Or Extend Existing Ones?

• arxiv url: http://arxiv.org/abs/2310.15758v1
• Date: Tue, 24 Oct 2023 12:01:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 19:01:44.639293
• Title: Learning From Free-Text Human Feedback -- Collect New Datasets Or Extend Existing Ones?
• Title（参考訳）: 自由テキストフィードバックから学ぶ - 新しいデータセットを収集するか、既存のものを拡張するか?
• Authors: Dominic Petrak, Nafise Sadat Moosavi, Ye Tian, Nikolai Rozanov, Iryna Gurevych
• Abstract要約: 一般的な対話データセットにおける自由文フィードバックのタイプと頻度について検討する。 この結果から, エラータイプ, ユーザ応答タイプ, それらの関係性など, 調査したデータセットの構成に関する新たな知見が得られた。
• 参考スコア（独自算出の注目度）: 57.16050211534735
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Learning from free-text human feedback is essential for dialog systems, but annotated data is scarce and usually covers only a small fraction of error types known in conversational AI. Instead of collecting and annotating new datasets from scratch, recent advances in synthetic dialog generation could be used to augment existing dialog datasets with the necessary annotations. However, to assess the feasibility of such an effort, it is important to know the types and frequency of free-text human feedback included in these datasets. In this work, we investigate this question for a variety of commonly used dialog datasets, including MultiWoZ, SGD, BABI, PersonaChat, Wizards-of-Wikipedia, and the human-bot split of the Self-Feeding Chatbot. Using our observations, we derive new taxonomies for the annotation of free-text human feedback in dialogs and investigate the impact of including such data in response generation for three SOTA language generation models, including GPT-2, LLAMA, and Flan-T5. Our findings provide new insights into the composition of the datasets examined, including error types, user response types, and the relations between them.
• Abstract（参考訳）: 自由テキストの人間のフィードバックから学ぶことはダイアログシステムには不可欠だが、注釈付きデータは少なく、通常は会話型AIで知られている少数のエラータイプのみをカバーする。 新しいデータセットをスクラッチから収集しアノテートするのではなく、最新の合成ダイアログ生成は、既存のダイアログデータセットを必要なアノテーションで拡張するために使用できる。 しかし,このような取り組みの実現可能性を評価するためには,これらのデータセットに含まれる自由文フィードバックのタイプと頻度を知ることが重要である。 本研究では,MultiWoZ,SGD,BABI,ペルソナチャット,ウィザーズ・オブ・ウィキペディア,セルフフィード・チャットボットの人間ボット分割など,多種多様なダイアログデータセットについて検討する。 本稿では,対話における自由文人文フィードバックのアノテーションのための新しい分類法を導出し,gpt-2,llama,flan-t5の3つのsota言語生成モデルに対する応答生成におけるそのデータを含む影響について検討した。 本研究は,エラータイプ,ユーザ応答型,それらの関係など,検討したデータセットの構成に関する新たな知見を提供する。

関連論文リスト

• SYNDICOM: Improving Conversational Commonsense with Error-Injection and Natural Language Feedback [3.642278451851518]
  対話応答生成におけるコモンセンス改善手法であるSynDICOMを紹介する。 最初のコンポーネントは知識グラフから生成され、自然言語に合成された常識対話からなるデータセットである。 2つ目のコントリビューションは、2段階の手順である: 自然言語フィードバック(NLF)を予測するためのモデルをトレーニングし、予測されたNLFに条件付けされた応答生成モデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-09-18T15:08:48Z)
• Does Collaborative Human-LM Dialogue Generation Help Information Extraction from Human Dialogues? [55.28340832822234]
  実際のアプリケーションにおける人間の対話の問題解決は、既存のWizard-of-Ozコレクションよりもはるかに複雑である。 本稿では,リアルな対話を合成できる人間間対話生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-13T20:02:50Z)
• q2d: Turning Questions into Dialogs to Teach Models How to Search [11.421839177607147]
  質問から情報検索ダイアログを生成する自動データ生成パイプラインであるq2dを提案する。 検索クエリによる人書きダイアログに依存する従来の手法とは異なり,提案手法では,より優れた制御とスケールで,クエリベースの基底ダイアログを自動的に生成することができる。
  論文  参考訳（メタデータ） (2023-04-27T16:39:15Z)
• PRESTO: A Multilingual Dataset for Parsing Realistic Task-Oriented Dialogs [39.58414649004708]
  PRESTOは、人間と仮想アシスタント間の550万以上のコンテキスト多言語会話のデータセットである。 現実のNLUタスクで発生する問題、例えば、障害、コードスイッチング、リビジョンなどが含まれる。 我々のmT5モデルに基づくベースラインは、PRESTOに存在する会話現象をモデル化することが困難であることを示している。
  論文  参考訳（メタデータ） (2023-03-15T21:51:13Z)
• Controllable Dialogue Simulation with In-Context Learning [39.04491297557292]
  textscDialogicは、大規模言語モデルに基づく対話シミュレーション手法である。 本手法は,人間の関与を最小あるいはゼロに抑えながら,少数の対話データを迅速に拡張することができる。 我々のシミュレートされた対話は、ほぼ人間に近い流速とアノテーションの精度を持つ。
  論文  参考訳（メタデータ） (2022-10-09T06:32:58Z)
• Unsupervised Neural Stylistic Text Generation using Transfer learning and Adapters [66.17039929803933]
  応答生成のためのスタイル特化属性を学習するために,モデルパラメータの0.3%しか更新しない新しい転送学習フレームワークを提案する。 我々はPERSONALITY-CAPTIONSデータセットからスタイル固有の属性を学習する。
  論文  参考訳（メタデータ） (2022-10-07T00:09:22Z)
• DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for Dialog Response Generation [80.45816053153722]
  DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。 我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
  論文  参考訳（メタデータ） (2022-04-27T16:18:15Z)
• ConvoSumm: Conversation Summarization Benchmark and Improved Abstractive Summarization with Argument Mining [61.82562838486632]
  我々は、さまざまなオンライン会話形式のニュースコメント、ディスカッションフォーラム、コミュニティ質問応答フォーラム、電子メールスレッドに関する4つの新しいデータセットをクラウドソースする。 我々は、データセットの最先端モデルをベンチマークし、データに関連する特徴を分析します。
  論文  参考訳（メタデータ） (2021-06-01T22:17:13Z)
• Language Model as an Annotator: Exploring DialoGPT for Dialogue Summarization [29.887562761942114]
  本稿では,対話応答生成のための事前学習モデルであるDialoGPTを,教師なし対話アノテータとして開発する方法を示す。 ダイアロGPTを用いて、2つの対話要約データセット(SAMSumとAMI)に3種類の特徴をラベル付けし、事前学習モデルと非訓練モデルを用いて要約する。
  論文  参考訳（メタデータ） (2021-05-26T13:50:13Z)
• Reasoning in Dialog: Improving Response Generation by Context Reading Comprehension [49.92173751203827]
  マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。 読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
  論文  参考訳（メタデータ） (2020-12-14T10:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。