論文の概要: Data Manipulation: Towards Effective Instance Learning for Neural Dialogue Generation via Learning to Augment and Reweight

• arxiv url: http://arxiv.org/abs/2004.02594v5
• Date: Thu, 11 Jun 2020 14:01:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 05:16:47.480139
• Title: Data Manipulation: Towards Effective Instance Learning for Neural Dialogue Generation via Learning to Augment and Reweight
• Title（参考訳）: データ操作:学習によるニューラル対話生成のための効果的なインスタンス学習を目指して
• Authors: Hengyi Cai, Hongshen Chen, Yonghao Song, Cheng Zhang, Xiaofang Zhao, Dawei Yin
• Abstract要約: 現在の最先端のニューラルダイアログモデルは、データ駆動パラダイムに従って人間の会話から学習する。 人間の会話のオープンな性質のため、ユーザ生成トレーニングデータの質は大きく異なる。 信頼性の高いサンプルに対してデータ分布を積極的に再構成するデータ操作フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 39.199204415979196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current state-of-the-art neural dialogue models learn from human conversations following the data-driven paradigm. As such, a reliable training corpus is the crux of building a robust and well-behaved dialogue model. However, due to the open-ended nature of human conversations, the quality of user-generated training data varies greatly, and effective training samples are typically insufficient while noisy samples frequently appear. This impedes the learning of those data-driven neural dialogue models. Therefore, effective dialogue learning requires not only more reliable learning samples, but also fewer noisy samples. In this paper, we propose a data manipulation framework to proactively reshape the data distribution towards reliable samples by augmenting and highlighting effective learning samples as well as reducing the effect of inefficient samples simultaneously. In particular, the data manipulation model selectively augments the training samples and assigns an importance weight to each instance to reform the training data. Note that, the proposed data manipulation framework is fully data-driven and learnable. It not only manipulates training samples to optimize the dialogue generation model, but also learns to increase its manipulation skills through gradient descent with validation samples. Extensive experiments show that our framework can improve the dialogue generation performance with respect to various automatic evaluation metrics and human judgments.
• Abstract（参考訳）: 現在の最先端のニューラル対話モデルは、データ駆動パラダイムに従って人間の会話から学習する。 したがって、信頼できるトレーニングコーパスは、堅牢で十分に整備された対話モデルを構築するための要領である。 しかし、人間の会話のオープンな性質から、ユーザ生成トレーニングデータの質は大きく異なり、有効なトレーニングサンプルは一般的に不十分であり、ノイズの多いサンプルが頻繁に現れる。 これは、これらのデータ駆動型神経対話モデルの学習を妨げる。 したがって、効果的な対話学習には、より信頼性の高い学習サンプルだけでなく、ノイズの多いサンプルも必要となる。 本稿では,効果的な学習サンプルの強調表示と非効率サンプルの効果の同時低減により,信頼性の高いサンプルに対して積極的にデータ分布を再構成するデータ操作フレームワークを提案する。 特に、データ操作モデルは、トレーニングサンプルを選択的に増補し、各インスタンスに重み付けを行い、トレーニングデータを改革する。 なお、提案されているデータ操作フレームワークは完全にデータ駆動で学習可能である。 トレーニングサンプルを操作して対話生成モデルを最適化するだけでなく,評価サンプルを用いた勾配降下による操作スキルの向上も学んでいる。 大規模な実験により,様々な自動評価指標や人的判断に対する対話生成性能の向上が図られた。

関連論文リスト

• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• Robust Task-Oriented Dialogue Generation with Contrastive Pre-training and Adversarial Filtering [17.7709632238066]
  データアーティファクトは機械学習モデルにインセンティブを与え、非伝達可能な一般化を学ぶ。 我々は、MultiWOZのような一般的なデータセットがそのようなデータアーティファクトを含んでいるかどうかを検討する。 本稿では,これらの手法を無視し,一般化可能なパターンを学習することをモデルに推奨する,対照的な学習ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-20T03:13:02Z)
• A Model-Agnostic Data Manipulation Method for Persona-based Dialogue Generation [107.82729587882397]
  現在のペルソナベースの対話データセットのスケールアップには費用がかかる。 このタスクの各データサンプルは、従来の対話データよりも複雑である。 本稿では,ペルソナをベースとした対話生成モデルにおいて,モデルに依存しないデータ操作手法を提案する。
  論文  参考訳（メタデータ） (2022-04-21T03:49:54Z)
• Pan More Gold from the Sand: Refining Open-domain Dialogue Training with Noisy Self-Retrieval Generation [41.928481605188146]
  本稿では,文脈応答型ペアデータと因果的あるいはエンコード型言語モデルとを記憶することで,既存のオープンドメイン対話生成手法を示す。 提案手法はゼロショット実験において,実世界のデータに対してより堅牢な手法であることが示唆された。
  論文  参考訳（メタデータ） (2022-01-27T08:02:59Z)
• Training Data Leakage Analysis in Language Models [6.843491191969066]
  本稿では,強大かつ現実的な脅威モデルの下で漏洩する可能性のあるトレーニングデータ中のユーザコンテンツを識別する手法を提案する。 本研究では,トレーニングデータに固有の文断片を生成するモデルの能力を測定することにより,ユーザレベルのデータ漏洩を定量化する2つの指標を提案する。
  論文  参考訳（メタデータ） (2021-01-14T00:57:32Z)
• Dialogue Distillation: Open-Domain Dialogue Augmentation Using Unpaired Data [61.71319905364992]
  未ペアデータを利用したオープンドメイン対話モデルのトレーニングのための新しいデータ拡張手法を提案する。 データレベルの蒸留プロセスが最初に提案され、未確認データからポストとレスポンスの両方を検索する拡張ダイアログを構築する。 低品質の対話をフィルタリングするためにランキングモジュールが使用される。 モデルレベルの蒸留プロセスを用いて、高品質なペアデータに基づいて訓練された教師モデルを、強化された対話ペアに蒸留する。
  論文  参考訳（メタデータ） (2020-09-20T13:06:38Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
  我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。 生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。 1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
  論文  参考訳（メタデータ） (2020-02-24T16:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。