論文の概要: Reflect, Not Reflex: Inference-Based Common Ground Improves Dialogue Response Quality

• arxiv url: http://arxiv.org/abs/2211.09267v1
• Date: Wed, 16 Nov 2022 23:50:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 15:09:01.727599
• Title: Reflect, Not Reflex: Inference-Based Common Ground Improves Dialogue Response Quality
• Title（参考訳）: 反射ではなく反射する:推論に基づく共通基盤は対話応答品質を改善する
• Authors: Pei Zhou, Hyundong Cho, Pegah Jandaghi, Dong-Ho Lee, Bill Yuchen Lin, Jay Pujara, Xiang Ren
• Abstract要約: 現在の応答生成モデルは、反射的に振る舞うため、ジェネリック応答と鈍応答が生じることを示す。 リフレクション(Reflect)は、明示的なCGと対話をアノテートするデータセットで、1つの共通基盤に従えば9kの多様な人為的な応答が引き起こされる。 RGモデルを誘導するためにリフレクションCGを用いて、モデルが高品質な応答を生成できるかどうかを分析する。
• 参考スコア（独自算出の注目度）: 40.741529639472134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human communication relies on common ground (CG), the mutual knowledge and beliefs shared by participants, to produce coherent and interesting conversations. In this paper, we demonstrate that current response generation (RG) models produce generic and dull responses in dialogues because they act reflexively, failing to explicitly model CG, both due to the lack of CG in training data and the standard RG training procedure. We introduce Reflect, a dataset that annotates dialogues with explicit CG (materialized as inferences approximating shared knowledge and beliefs) and solicits 9k diverse human-generated responses each following one common ground. Using Reflect, we showcase the limitations of current dialogue data and RG models: less than half of the responses in current data are rated as high quality (sensible, specific, and interesting) and models trained using this data have even lower quality, while most Reflect responses are judged high quality. Next, we analyze whether CG can help models produce better-quality responses by using Reflect CG to guide RG models. Surprisingly, we find that simply prompting GPT3 to "think" about CG generates 30% more quality responses, showing promising benefits to integrating CG into the RG process.
• Abstract（参考訳）: ヒューマンコミュニケーションは、共通基盤(CG)、参加者が共有する相互知識と信念に依存し、一貫性と興味深い会話を生み出す。 本稿では,現在の応答生成モデル(rg)が,学習データにおけるcgの欠如と標準rg訓練手順の欠如により,リフレッシブに行動し,cgを明示的にモデル化できないため,対話において汎用的かつ鈍い応答を生成することを実証する。 本稿では,対話に明示的なcg(共有知識と信念を近似する推論として具体化)を付与するデータセットreflectを紹介する。 リフレクションを用いて、現在の対話データとRGモデルの限界を示す: 現在のデータのレスポンスの半分未満は、高品質(感受性、特異性、興味深い)と評価され、このデータを使用してトレーニングされたモデルは、さらに品質が低く、ほとんどのリフレクション応答は高品質であると判断される。 次に、リフレクションCGを用いてRGモデルを誘導することにより、モデルが高品質な応答を生成できるかどうかを分析する。 意外なことに、単にGPT3にCGについて"考える"ように促すことで、品質が30%向上し、CGをRGプロセスに統合するメリットが期待できることがわかった。

関連論文リスト

• CORAL: Benchmarking Multi-turn Conversational Retrieval-Augmentation Generation [68.81271028921647]
  我々は,現実的なマルチターン対話環境におけるRAGシステム評価のためのベンチマークであるCORALを紹介する。 コラルにはウィキペディアから自動的に派生した多様な情報検索会話が含まれている。 対話型RAGの3つの中核的なタスク、すなわち、通過検索、応答生成、および引用ラベリングをサポートする。
  論文  参考訳（メタデータ） (2024-10-30T15:06:32Z)
• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• Retrieval-Generation Alignment for End-to-End Task-Oriented Dialogue System [40.33178881317882]
  本稿では、応答生成からの信号を利用して、知覚的レトリバーの学習に最大限の限界確率を適用することを提案する。 本稿では,T5とChatGPTをバックボーンモデルとして用いた3つのタスク指向対話データセットについて検討する。
  論文  参考訳（メタデータ） (2023-10-13T06:03:47Z)
• PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded Dialogue Systems [59.1250765143521]
  現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。 我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。 対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
  論文  参考訳（メタデータ） (2023-09-19T08:27:09Z)
• RADE: Reference-Assisted Dialogue Evaluation for Open-Domain Dialogue [37.82954848948347]
  マルチタスク学習フレームワークを用いた参照支援対話評価(RADE)手法を提案する。 RADEは、参照と候補のレスポンスを明示的に比較して、全体のスコアを予測する。 3つのデータセットと2つの既存のベンチマーク実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-09-15T04:47:19Z)
• RHO ($\rho$): Reducing Hallucination in Open-domain Dialogues with Knowledge Grounding [57.46495388734495]
  本稿では、知識グラフ(KG)からリンクされたエンティティと関係述語を表現したRHO(rho$)を提案する。 本稿では,(1)テキスト埋め込みと対応するKG埋め込みを組み合わせるための局所知識基盤,(2)注目機構を介してRHOにマルチホップ推論能力を持たせるためのグローバル知識基盤を提案する。
  論文  参考訳（メタデータ） (2022-12-03T10:36:34Z)
• Counterfactual Off-Policy Training for Neural Response Generation [94.76649147381232]
  本稿では,反実的推論による潜在的応答の探索を提案する。 対人学習の枠組みの下での対物反応の訓練は、潜在的応答空間の高逆領域を探索するのに役立つ。 DailyDialogデータセットに関する実証的研究は、我々のアプローチがHREDモデルを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-04-29T22:46:28Z)
• Posterior-GAN: Towards Informative and Coherent Response Generation with Posterior Generative Adversarial Network [38.576579498740244]
  我々は,新しいエンコーダデコーダに基づく生成逆学習フレームワーク,Posterior Generative Adversarial Network (Posterior-GAN)を提案する。 実験結果から,本手法は自動評価と人的評価の両方において,生成した応答の情報性とコヒーレンスを効果的に向上させることが示された。
  論文  参考訳（メタデータ） (2020-03-04T11:57:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。