論文の概要: A Systematic Evaluation of Response Selection for Open Domain Dialogue

• arxiv url: http://arxiv.org/abs/2208.04379v1
• Date: Mon, 8 Aug 2022 19:33:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-10 12:33:42.668705
• Title: A Systematic Evaluation of Response Selection for Open Domain Dialogue
• Title（参考訳）: オープンドメイン対話における応答選択の体系的評価
• Authors: Behnam Hedayatnia, Di Jin, Yang Liu, Dilek Hakkani-Tur
• Abstract要約: 同じダイアログで生成された複数の応答生成元からの応答を、適切な(正)と不適切な(負)として手動でアノテートするデータセットをキュレートした。 反応選択のための最先端手法の体系的評価を行い、複数の正の候補を用いたり、手動で検証された強陰性候補を用いたりすることで、それぞれRecall@1スコアの3%と13%の増加など、相手のトレーニングデータを用いた場合と比較して、大幅な性能向上が期待できることを示す。
• 参考スコア（独自算出の注目度）: 36.88551817451512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress on neural approaches for language processing has triggered a resurgence of interest on building intelligent open-domain chatbots. However, even the state-of-the-art neural chatbots cannot produce satisfying responses for every turn in a dialog. A practical solution is to generate multiple response candidates for the same context, and then perform response ranking/selection to determine which candidate is the best. Previous work in response selection typically trains response rankers using synthetic data that is formed from existing dialogs by using a ground truth response as the single appropriate response and constructing inappropriate responses via random selection or using adversarial methods. In this work, we curated a dataset where responses from multiple response generators produced for the same dialog context are manually annotated as appropriate (positive) and inappropriate (negative). We argue that such training data better matches the actual use case examples, enabling the models to learn to rank responses effectively. With this new dataset, we conduct a systematic evaluation of state-of-the-art methods for response selection, and demonstrate that both strategies of using multiple positive candidates and using manually verified hard negative candidates can bring in significant performance improvement in comparison to using the adversarial training data, e.g., increase of 3% and 13% in Recall@1 score, respectively.
• Abstract（参考訳）: 言語処理におけるニューラルアプローチの最近の進歩は、インテリジェントなオープンドメインチャットボット構築への関心の復活を促している。 しかし、最先端のニューラルチャットボットでさえ、ダイアログのターン毎に満足な応答を生成できない。 実用的な解決策は、同じ文脈で複数の応答候補を生成し、応答ランキング/選択を行い、どの候補が最も良いかを決定することである。 応答選択における以前の仕事は、既存のダイアログから生成された合成データを用いて応答ランカを訓練し、基底真理応答を単一の適切な応答として使用し、ランダム選択または逆法を用いて不適切な応答を構築する。 本研究では,複数の応答生成元から生成した応答を,適切な(正)かつ不適切な(負)として手動でアノテートするデータセットをキュレートした。 このようなトレーニングデータは実際のユースケースの例とよく一致し、モデルが応答を効果的にランク付けすることを学ぶことができる。 この新しいデータセットでは,反応選択のための最先端の手法を体系的に評価し,複数のポジティブな候補と手動で検証したハードネガティブな候補を用いた戦略が,それぞれrecall@1スコアの3%の増加や13%の増加といった,敵対的なトレーニングデータを使用する場合と比較して著しいパフォーマンス向上をもたらすことを実証する。

関連論文リスト

• PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded Dialogue Systems [59.1250765143521]
  現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。 我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。 対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
  論文  参考訳（メタデータ） (2023-09-19T08:27:09Z)
• Reranking Overgenerated Responses for End-to-End Task-Oriented Dialogue Systems [71.33737787564966]
  エンド・ツー・エンド(E2E)タスク指向対話システム(ToD)は、いわゆる「いいね! 本稿では,システムによって当初過剰に生成された応答リストから高品質な項目を選択する方法を提案する。 本研究では,最先端のE2E ToDシステムを2.4BLEU,3.2ROUGE,2.8 METEORで改善し,新たなピーク値を得た。
  論文  参考訳（メタデータ） (2022-11-07T15:59:49Z)
• Pneg: Prompt-based Negative Response Generation for Dialogue Response Selection Task [27.513992470527427]
  検索に基づく対話システムでは、応答選択モデルがランサーとして機能し、複数の候補の中から最も適切な応答を選択する。 近年の研究では, 対向応答を負のトレーニングサンプルとして活用することは, 選択モデルの識別能力を向上させるのに有用であることが示されている。 本稿では,大規模言語モデルを利用した対向的負の応答を簡易に,かつ効率的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-31T11:49:49Z)
• Sparse and Dense Approaches for the Full-rank Retrieval of Responses for Dialogues [11.726528038065764]
  我々は、数百万のレスポンスを最大$n$で検索する、より現実的なレスポンス検索のタスクに焦点を当てている。 3つの異なる情報探索対話データセットに基づいて,学習された応答拡大手法がスパース検索の確固たるベースラインであることを明らかにする。 中間訓練で高密度な検索を行うのに最適な手法が得られ、次いでターゲットの会話データを微調整する。
  論文  参考訳（メタデータ） (2022-04-22T08:15:15Z)
• Saying No is An Art: Contextualized Fallback Responses for Unanswerable Dialogue Queries [3.593955557310285]
  ほとんどの対話システムは、ランク付けされた応答を生成するためのハイブリッドアプローチに依存している。 ユーザクエリに対して文脈的に認識された応答を生成するニューラルネットワークを設計する。 我々の単純なアプローチでは、依存関係解析のルールと、質問応答ペアの合成データに基づいて微調整されたテキストからテキストへの変換を行う。
  論文  参考訳（メタデータ） (2020-12-03T12:34:22Z)
• Generating Dialogue Responses from a Semantic Latent Space [75.18449428414736]
  語彙のエンドツーエンド分類に代わる方法を提案する。 潜在空間上の回帰タスクとして,プロンプトと応答のペア関係を学習する。 人間の評価は、連続した空間でタスクを学習すると、関連性と情報性の両方を持つ応答が生成されることを示した。
  論文  参考訳（メタデータ） (2020-10-04T19:06:16Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• Counterfactual Off-Policy Training for Neural Response Generation [94.76649147381232]
  本稿では,反実的推論による潜在的応答の探索を提案する。 対人学習の枠組みの下での対物反応の訓練は、潜在的応答空間の高逆領域を探索するのに役立つ。 DailyDialogデータセットに関する実証的研究は、我々のアプローチがHREDモデルを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-04-29T22:46:28Z)
• Evaluating Dialogue Generation Systems via Response Selection [42.56640173047927]
  提案手法では, 提案手法を用いて, 提案手法を検証し, 提案手法を提案する。 本研究では,本手法によって開発されたテストセットによる応答選択によるシステム評価が,人間による評価と強く相関していることを示す。
  論文  参考訳（メタデータ） (2020-04-29T16:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。