論文の概要: Diversifying Dialog Generation via Adaptive Label Smoothing

• arxiv url: http://arxiv.org/abs/2105.14556v1
• Date: Sun, 30 May 2021 14:41:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 11:42:31.165916
• Title: Diversifying Dialog Generation via Adaptive Label Smoothing
• Title（参考訳）: 適応ラベル平滑化によるダイアログの多様化
• Authors: Yida Wang, Yinhe Zheng, Yong Jiang, Minlie Huang
• Abstract要約: 本稿では,異なるコンテキストに対して,各タイミングで目標ラベル分布を適応的に推定できる適応ラベル平滑化(AdaLabel)手法を提案する。 提案手法は, 多様な応答を生み出す上で, 様々な競争基準を上回ります。
• 参考スコア（独自算出の注目度）: 49.216146120454745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural dialogue generation models trained with the one-hot target distribution suffer from the over-confidence issue, which leads to poor generation diversity as widely reported in the literature. Although existing approaches such as label smoothing can alleviate this issue, they fail to adapt to diverse dialog contexts. In this paper, we propose an Adaptive Label Smoothing (AdaLabel) approach that can adaptively estimate a target label distribution at each time step for different contexts. The maximum probability in the predicted distribution is used to modify the soft target distribution produced by a novel light-weight bi-directional decoder module. The resulting target distribution is aware of both previous and future contexts and is adjusted to avoid over-training the dialogue model. Our model can be trained in an end-to-end manner. Extensive experiments on two benchmark datasets show that our approach outperforms various competitive baselines in producing diverse responses.
• Abstract（参考訳）: 1ホットターゲット分布で訓練されたニューラルダイアログ生成モデルは、文献で広く報告されているように、自信過剰の問題に悩まされる。 ラベル平滑化のような既存のアプローチはこの問題を軽減することができるが、多様なダイアログコンテキストに適応できない。 本稿では,異なる文脈における各段階における目標ラベル分布を適応的に推定できる適応ラベル平滑化(AdaLabel)手法を提案する。 予測分布の最大確率は、新しい軽量双方向デコーダモジュールによって生成されたソフトターゲット分布を変更するために用いられる。 得られたターゲット分布は、前と将来の両方のコンテキストを認識し、対話モデルの過度なトレーニングを避けるために調整される。 私たちのモデルはエンドツーエンドでトレーニングできます。 2つのベンチマークデータセットに関する広範な実験は、我々のアプローチがさまざまな応答を生成する上で、様々な競合ベースラインを上回ることを示している。

関連論文リスト

• Theory-inspired Label Shift Adaptation via Aligned Distribution Mixture [21.494268411607766]
  ADM(Aligned Distribution Mixture)という名称の革新的なラベルシフトフレームワークを提案する。 本フレームワークでは,分類器学習プロセスに修正を加えることで,4つの典型的なラベルシフト手法を改良する。 提案手法の特異性を考慮し,効率的な二段階最適化戦略を開発する。
  論文  参考訳（メタデータ） (2024-11-04T12:51:57Z)
• On the Efficacy of Sampling Adapters [82.5941326570812]
  サンプリングアダプタを理解するための統一的なフレームワークを提案する。 彼らが実施するシフトは、正確さとリコールの間のトレードオフと見なすことができる、と私たちは主張する。 いくつかの精度強調尺度は、サンプリングアダプタが真の分布とより整合した確率分布をもたらすことを確実に示している。
  論文  参考訳（メタデータ） (2023-07-07T17:59:12Z)
• Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot Text Classification Tasks [75.42002070547267]
  テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。 モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T23:43:23Z)
• Label Matching Semi-Supervised Object Detection [85.99282969977541]
  半教師対象検出は,教師主導型自己学習の開発において大きな進歩を遂げている。 ラベルミスマッチ問題は、以前の研究でまだ完全に解明されていないため、自己学習中に重大な確証バイアスが生じる。 本稿では,2つの異なる相補的視点から,単純かつ効果的な LabelMatch フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-14T05:59:41Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)
• Similarity Based Label Smoothing For Dialogue Generation [1.1279808969568252]
  生成的神経会話システムは一般に、訓練対象の「堅い」目標と予測ロジットの間のエントロピー損失を最小限に抑える目的で訓練される。 ラベルの平滑化は、不正なトレーニングターゲットにデータ独立の均一な分布を強制する。 本稿では,ラベル平滑化における不正確な対象確率の均一分布を,意味論に基づくより自然な分布に変換することを提案する。
  論文  参考訳（メタデータ） (2021-07-23T23:25:19Z)
• Towards Efficiently Diversifying Dialogue Generation via Embedding Augmentation [24.940159321142165]
  本稿では,ソフト埋め込みによるニューラル対話モデルの生成の多様性を促進することを提案する。 新しい埋め込みは、元の埋め込みを置き換えるモデルの入力として機能する。 2つのデータセットの実験結果から,提案手法が生モデルよりも多様な応答を生成できることが示された。
  論文  参考訳（メタデータ） (2021-03-02T07:28:56Z)
• Multi-Referenced Training for Dialogue Response Generation [36.24321477524634]
  実世界の確率分布と単一参照データの確率分布とのギャップは,モデルが1対多の関係を効率的に学習することを妨げることを示す。 我々は、実世界の分布をよりよく近似するマルチ参照データを構築するために、強力な事前学習モデルから多様な擬似参照を生成する。
  論文  参考訳（メタデータ） (2020-09-15T14:17:53Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。