論文の概要: Diversifying Neural Dialogue Generation via Negative Distillation

• arxiv url: http://arxiv.org/abs/2205.02795v1
• Date: Thu, 5 May 2022 17:14:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-06 13:58:28.167292
• Title: Diversifying Neural Dialogue Generation via Negative Distillation
• Title（参考訳）: 負の蒸留によるニューラルダイアログ生成の多様化
• Authors: Yiwei Li, Shaoxiong Feng, Bin Sun, Kan Li
• Abstract要約: 本稿では, モデルが望ましくない汎用応答から遠ざけるために, 負蒸留と呼ばれる新しい負の訓練パラダイムを提案する。 実験結果から,本手法は従来の負の訓練方法よりも有意に優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 11.124375734351826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative dialogue models suffer badly from the generic response problem, limiting their applications to a few toy scenarios. Recently, an interesting approach, namely negative training, has been proposed to alleviate this problem by reminding the model not to generate high-frequency responses during training. However, its performance is hindered by two issues, ignoring low-frequency but generic responses and bringing low-frequency but meaningless responses. In this paper, we propose a novel negative training paradigm, called negative distillation, to keep the model away from the undesirable generic responses while avoiding the above problems. First, we introduce a negative teacher model that can produce query-wise generic responses, and then the student model is required to maximize the distance with multi-level negative knowledge. Empirical results show that our method outperforms previous negative training methods significantly.
• Abstract（参考訳）: 生成対話モデルは一般的な応答問題に苦しめられ、いくつかのおもちゃのシナリオに制限されている。 近年,学習中に高周波応答を起こさないようモデルに促すことにより,この問題を緩和する興味深いアプローチ,すなわち負のトレーニングが提案されている。 しかし、その性能は低周波だが汎用的な応答を無視し、低周波だが無意味な応答をもたらすという2つの問題によって妨げられている。 本稿では,上記の問題を回避しつつ,望ましくない総括的応答からモデルを遠ざけるために,負蒸留と呼ばれる新しい負の学習パラダイムを提案する。 まず,問合せに汎用的な応答を生成できる負の教師モデルを導入し,その後,多レベル負の知識で距離を最大化するために学生モデルが必要となる。 実験の結果,本手法は従来の負の訓練方法よりも有意に優れていた。

関連論文リスト

• Alternate Preference Optimization for Unlearning Factual Knowledge in Large Language Models [2.0962367975513496]
  機械学習は、特定のトレーニングデータの影響をモデルから効率的に排除することを目的としている。 既存の未学習手法は, 無視集合に関連する応答を抑制するために, 負のフィードバックのみに頼っている。 本稿では,AltPO(Alternate Preference Optimization)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-20T13:05:07Z)
• Promoting Open-domain Dialogue Generation through Learning Pattern Information between Contexts and Responses [5.936682548344234]
  本稿では,学習サンプルの文脈と応答の間の暗黙的なパターン情報を学ぶことにより,生成した応答の品質を向上させる。 また、文脈と応答間の暗黙的パターン情報をマイニングする応答認識機構を設計し、生成した応答をより多様でヒトの応答に近似するようにした。
  論文  参考訳（メタデータ） (2023-09-06T08:11:39Z)
• Pneg: Prompt-based Negative Response Generation for Dialogue Response Selection Task [27.513992470527427]
  検索に基づく対話システムでは、応答選択モデルがランサーとして機能し、複数の候補の中から最も適切な応答を選択する。 近年の研究では, 対向応答を負のトレーニングサンプルとして活用することは, 選択モデルの識別能力を向上させるのに有用であることが示されている。 本稿では,大規模言語モデルを利用した対向的負の応答を簡易に,かつ効率的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-31T11:49:49Z)
• Generating Negative Samples for Sequential Recommendation [83.60655196391855]
  逐次レコメンデーション(SR)のための負のサンプル(イテム)を生成することを提案する。 アイテムに対する現在のSRモデルの学習されたユーザの好みに基づいて、各タイムステップで負の項目をサンプリングする。 4つの公開データセットの実験は、SRに高品質な負のサンプルを提供することの重要性を検証する。
  論文  参考訳（メタデータ） (2022-08-07T05:44:13Z)
• Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
  本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。 提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
  論文  参考訳（メタデータ） (2021-11-11T16:57:53Z)
• Challenging Instances are Worth Learning: Generating Valuable Negative Samples for Response Selection Training [16.34984384383166]
  応答選択モジュールは、通常、アノテーション付きの正反応とサンプル化された負反応に基づいて訓練される。 我々は、モデルの堅牢性を高めるために、より困難な負のインスタンスを構築するために、事前訓練された言語モデルを使用します。 本手法は対話応答選択能力を大幅に改善する。
  論文  参考訳（メタデータ） (2021-09-14T09:16:24Z)
• Social NCE: Contrastive Learning of Socially-aware Motion Representations [87.82126838588279]
  実験結果から, 提案手法は最近の軌道予測, 行動クローニング, 強化学習アルゴリズムの衝突速度を劇的に低減することがわかった。 本手法は,ニューラルネットワークの設計に関する仮定をほとんど示さないため,神経運動モデルのロバスト性を促進する汎用的手法として使用できる。
  論文  参考訳（メタデータ） (2020-12-21T22:25:06Z)
• Positive-Congruent Training: Towards Regression-Free Model Updates [87.25247195148187]
  画像分類において、サンプルワイドの不整合は「負のフリップ」として現れる 新しいモデルは、古い(参照)モデルによって正しく分類されたテストサンプルの出力を誤って予測する。 そこで本研究では,PC トレーニングのための簡易なアプローチである Focal Distillation を提案する。
  論文  参考訳（メタデータ） (2020-11-18T09:00:44Z)
• Group-wise Contrastive Learning for Neural Dialogue Generation [29.749195182401344]
  対話生成に比較学習を導入し、モデルが肯定的発話と否定的発話の差を明示的に知覚する。 ヒトの会話におけるマルチマッピング関係を管理するために,グループワイド二重サンプリングによる対照対話学習を強化した。
  論文  参考訳（メタデータ） (2020-09-16T08:28:30Z)
• Counterfactual Off-Policy Training for Neural Response Generation [94.76649147381232]
  本稿では,反実的推論による潜在的応答の探索を提案する。 対人学習の枠組みの下での対物反応の訓練は、潜在的応答空間の高逆領域を探索するのに役立つ。 DailyDialogデータセットに関する実証的研究は、我々のアプローチがHREDモデルを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-04-29T22:46:28Z)
• Adaptive Offline Quintuplet Loss for Image-Text Matching [102.50814151323965]
  既存の画像テキストマッチングアプローチでは、オンラインのハードネガティブによるトリプルト損失を利用してモデルをトレーニングするのが一般的である。 トレーニングセット全体からオフラインで負をサンプリングして解を提案する。 我々は,MS-COCOとFlickr30Kデータセットを用いた3つの最先端画像テキストモデルに対するトレーニング手法の評価を行った。
  論文  参考訳（メタデータ） (2020-03-07T22:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。