論文の概要: Pan More Gold from the Sand: Refining Open-domain Dialogue Training with Noisy Self-Retrieval Generation

• arxiv url: http://arxiv.org/abs/2201.11367v1
• Date: Thu, 27 Jan 2022 08:02:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-28 14:41:32.168791
• Title: Pan More Gold from the Sand: Refining Open-domain Dialogue Training with Noisy Self-Retrieval Generation
• Title（参考訳）: Pan More Gold from the Sand: Refining Open Domain Dialogue Training with Noisy Self-Rerieval Generation
• Authors: Yihe Wang, Yitong Li, Yasheng Wang, Fei Mi, Pingyi Zhou, Xin Wang, Jin Liu, Qun Liu, Xin Jiang
• Abstract要約: 本稿では,文脈応答型ペアデータと因果的あるいはエンコード型言語モデルとを記憶することで,既存のオープンドメイン対話生成手法を示す。 提案手法はゼロショット実験において,実世界のデータに対してより堅牢な手法であることが示唆された。
• 参考スコア（独自算出の注目度）: 41.928481605188146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real human conversation data are complicated, heterogeneous, and noisy, from whom building open-domain dialogue systems remains a challenging task. In fact, such dialogue data can still contain a wealth of information and knowledge, however, they are not fully explored. In this paper, we show existing open-domain dialogue generation methods by memorizing context-response paired data with causal or encode-decode language models underutilize the training data. Different from current approaches, using external knowledge, we explore a retrieval-generation training framework that can increase the usage of training data by directly considering the heterogeneous and noisy training data as the "evidence". Experiments over publicly available datasets demonstrate that our method can help models generate better responses, even such training data are usually impressed as low-quality data. Such performance gain is comparable with those improved by enlarging the training set, even better. We also found that the model performance has a positive correlation with the relevance of the retrieved evidence. Moreover, our method performed well on zero-shot experiments, which indicates that our method can be more robust to real-world data.
• Abstract（参考訳）: 実際の人間の会話データは複雑で異種でノイズが多いため、オープンドメインの対話システムを構築することは難しい課題である。 事実、そのような対話データは豊富な情報や知識を含んでいるが、完全には調査されていない。 本稿では,コンテキスト応答データと因果的あるいは符号化復号型言語モデルとを記憶することにより,既存のオープンドメイン対話生成手法を提案する。 外部知識を用いて,異種・雑音の訓練データを「証拠」として直接検討することにより,学習データの利用量を増加させる検索世代トレーニングフレームワークを探索する。 公開されているデータセットに対する実験は、我々の手法がモデルがより良いレスポンスを生成するのに役立つことを示した。 このようなパフォーマンス向上は、トレーニングセットを拡大することで改善されたものと同等です。 また, モデル性能は, 得られた証拠の関連性に正の相関が認められた。 さらに,本手法は実世界のデータに対してより堅牢であることを示すゼロショット実験で良好に動作した。

関連論文リスト

• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• Hexa: Self-Improving for Knowledge-Grounded Dialogue System [13.293318039036562]
  本研究では,中間段階の生成性能を改善するための自己改善手法を開発した。 特に、適切な自己生成応答の多様性を高めるために、誘導プロンプトと改良された損失関数を備えた新しいブートストラップ方式を提案する。
  論文  参考訳（メタデータ） (2023-10-10T08:15:24Z)
• Weakly Supervised Data Augmentation Through Prompting for Dialogue Understanding [103.94325597273316]
  本稿では,弱教師付きフィルタを適用して拡張品質を反復する手法を提案する。 我々は、デイリーダイアログにおける感情と行動の分類タスクと、Facebook Multilingual Task-Oriented Dialogueにおける意図の分類タスクについて評価した。 特にDailyDialogでは、真理データの10%を使用して、100%のデータを使用する現在の最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2022-10-25T17:01:30Z)
• Robust Task-Oriented Dialogue Generation with Contrastive Pre-training and Adversarial Filtering [17.7709632238066]
  データアーティファクトは機械学習モデルにインセンティブを与え、非伝達可能な一般化を学ぶ。 我々は、MultiWOZのような一般的なデータセットがそのようなデータアーティファクトを含んでいるかどうかを検討する。 本稿では,これらの手法を無視し,一般化可能なパターンを学習することをモデルに推奨する,対照的な学習ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-20T03:13:02Z)
• A Model-Agnostic Data Manipulation Method for Persona-based Dialogue Generation [107.82729587882397]
  現在のペルソナベースの対話データセットのスケールアップには費用がかかる。 このタスクの各データサンプルは、従来の対話データよりも複雑である。 本稿では,ペルソナをベースとした対話生成モデルにおいて,モデルに依存しないデータ操作手法を提案する。
  論文  参考訳（メタデータ） (2022-04-21T03:49:54Z)
• Dialogue Distillation: Open-Domain Dialogue Augmentation Using Unpaired Data [61.71319905364992]
  未ペアデータを利用したオープンドメイン対話モデルのトレーニングのための新しいデータ拡張手法を提案する。 データレベルの蒸留プロセスが最初に提案され、未確認データからポストとレスポンスの両方を検索する拡張ダイアログを構築する。 低品質の対話をフィルタリングするためにランキングモジュールが使用される。 モデルレベルの蒸留プロセスを用いて、高品質なペアデータに基づいて訓練された教師モデルを、強化された対話ペアに蒸留する。
  論文  参考訳（メタデータ） (2020-09-20T13:06:38Z)
• Data Manipulation: Towards Effective Instance Learning for Neural Dialogue Generation via Learning to Augment and Reweight [39.199204415979196]
  現在の最先端のニューラルダイアログモデルは、データ駆動パラダイムに従って人間の会話から学習する。 人間の会話のオープンな性質のため、ユーザ生成トレーニングデータの質は大きく異なる。 信頼性の高いサンプルに対してデータ分布を積極的に再構成するデータ操作フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-06T12:14:09Z)
• Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
  我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。 生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。 1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
  論文  参考訳（メタデータ） (2020-02-24T16:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。