論文の概要: Similarity Based Label Smoothing For Dialogue Generation

• arxiv url: http://arxiv.org/abs/2107.11481v1
• Date: Fri, 23 Jul 2021 23:25:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-28 10:56:38.096619
• Title: Similarity Based Label Smoothing For Dialogue Generation
• Title（参考訳）: 類似性に基づく対話生成のためのラベル平滑化
• Authors: Sougata Saha, Souvik Das, Rohini Srihari
• Abstract要約: 生成的神経会話システムは一般に、訓練対象の「堅い」目標と予測ロジットの間のエントロピー損失を最小限に抑える目的で訓練される。 ラベルの平滑化は、不正なトレーニングターゲットにデータ独立の均一な分布を強制する。 本稿では,ラベル平滑化における不正確な対象確率の均一分布を,意味論に基づくより自然な分布に変換することを提案する。
• 参考スコア（独自算出の注目度）: 1.1279808969568252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative neural conversational systems are generally trained with the objective of minimizing the entropy loss between the training "hard" targets and the predicted logits. Often, performance gains and improved generalization can be achieved by using regularization techniques like label smoothing, which converts the training "hard" targets to "soft" targets. However, label smoothing enforces a data independent uniform distribution on the incorrect training targets, which leads to an incorrect assumption of equi-probable incorrect targets for each correct target. In this paper we propose and experiment with incorporating data dependent word similarity based weighing methods to transforms the uniform distribution of the incorrect target probabilities in label smoothing, to a more natural distribution based on semantics. We introduce hyperparameters to control the incorrect target distribution, and report significant performance gains over networks trained using standard label smoothing based loss, on two standard open domain dialogue corpora.
• Abstract（参考訳）: 生成的神経会話システムは一般に、訓練対象の「堅い」目標と予測ロジットの間のエントロピー損失を最小限に抑える目的で訓練される。 しばしば、"ハード"ターゲットを"ソフト"ターゲットに変換するラベル平滑化のような正規化技術を使うことで、パフォーマンスの向上と一般化が達成される。 しかし、ラベルの平滑化は、不正なトレーニング目標に対するデータ独立の均一分布を強制し、各目標に対して不適切な確率的不正確なターゲットを誤った仮定に導く。 本稿では,ラベルの平滑化における不正確な対象確率の均一分布を意味論に基づくより自然な分布に変換するために,データ依存語類似度に基づく重み付け手法を提案する。 また,2つの標準オープンドメイン対話コーパスを用いて,標準ラベルの平滑化に基づく損失をトレーニングしたネットワークに対して,高い性能向上を報告した。

関連論文リスト

• Overcoming label shift in targeted federated learning [8.223143536605248]
  フェデレーション学習は、複数のアクターがプライベートデータを共有せずに、協力的にモデルをトレーニングすることを可能にする。 ひとつの一般的な違反はラベルシフトであり、そこでは、クライアント間で、あるいはクライアントとターゲットドメイン間で、ラベルの分布が異なる。 我々は,中心サーバにおけるターゲットラベル分布の知識を活用することで,ラベルシフトに適応する新しいモデルアグリゲーション手法であるFedPALSを提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:52:45Z)
• Theory-inspired Label Shift Adaptation via Aligned Distribution Mixture [21.494268411607766]
  ADM(Aligned Distribution Mixture)という名称の革新的なラベルシフトフレームワークを提案する。 本フレームワークでは,分類器学習プロセスに修正を加えることで,4つの典型的なラベルシフト手法を改良する。 提案手法の特異性を考慮し,効率的な二段階最適化戦略を開発する。
  論文  参考訳（メタデータ） (2024-11-04T12:51:57Z)
• Towards noise contrastive estimation with soft targets for conditional models [0.6138671548064356]
  本稿では確率的目標に適合する損失関数を提案する。 我々の新しいソフトターゲットInfoNCE損失は概念的にはシンプルで、計算に効率的であり、ノイズコントラスト推定の枠組みを通じて動機付けできる。 ソフトターゲットInfoNCEは,強いソフトターゲットのクロスエントロピーベースラインと同等に動作し,一般的なベンチマークにおいてハードターゲットNLLとInfoNCEの損失を上回ります。
  論文  参考訳（メタデータ） (2024-04-22T10:45:59Z)
• Probabilistic Test-Time Generalization by Variational Neighbor-Labeling [62.158807685159736]
  本稿では、ドメインの一般化を試み、モデルが未確認のターゲットドメインにデプロイされる前に、ソースドメインにのみトレーニングされる。 ソーストレーニングされたモデルをテスト時にターゲットドメインに一般化するための、ターゲットサンプルの擬似ラベル化の確率。 より堅牢な擬似ラベルを生成するために、近隣のターゲットサンプルの情報を含む変分隣接ラベル。
  論文  参考訳（メタデータ） (2023-07-08T18:58:08Z)
• Adaptive Label Smoothing with Self-Knowledge in Natural Language Generation [16.878277421402945]
  平滑化パラメータに動的性質をもたらす正規化スキームを提案する。 トレーニングのモデルは、前方伝播中のハエの平滑化の程度を自己制御する。
  論文  参考訳（メタデータ） (2022-10-22T11:52:38Z)
• Generative multitask learning mitigates target-causing confounding [61.21582323566118]
  マルチタスク学習のための因果表現学習のためのシンプルでスケーラブルなアプローチを提案する。 改善は、目標を狙うが入力はしない、観測されていない共同ファウンダーを緩和することによる。 人の属性とタスクノミーのデータセットに対する我々の結果は、事前の確率シフトに対するロバストネスの概念的改善を反映している。
  論文  参考訳（メタデータ） (2022-02-08T20:42:14Z)
• Diversifying Dialog Generation via Adaptive Label Smoothing [49.216146120454745]
  本稿では,異なるコンテキストに対して,各タイミングで目標ラベル分布を適応的に推定できる適応ラベル平滑化(AdaLabel)手法を提案する。 提案手法は, 多様な応答を生み出す上で, 様々な競争基準を上回ります。
  論文  参考訳（メタデータ） (2021-05-30T14:41:09Z)
• Latent Space Regularization for Unsupervised Domain Adaptation in Semantic Segmentation [14.050836886292869]
  セマンティックセグメンテーションにおけるドメインの不一致を減らすために、機能レベルの空間形成正規化戦略を紹介します。 このような手法の有効性を自律運転環境で検証する。
  論文  参考訳（メタデータ） (2021-04-06T16:07:22Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)
• MatchGAN: A Self-Supervised Semi-Supervised Conditional Generative Adversarial Network [51.84251358009803]
  本稿では,条件付き生成逆数ネットワーク(GAN)に対する,半教師付き環境下での自己教師型学習手法を提案する。 利用可能な数少ないラベル付きサンプルのラベル空間から無作為なラベルをサンプリングして拡張を行う。 本手法は,ベースラインのトレーニングに使用したラベル付きサンプルの20%に過ぎません。
  論文  参考訳（メタデータ） (2020-06-11T17:14:55Z)
• Rectifying Pseudo Label Learning via Uncertainty Estimation for Domain Adaptive Semantic Segmentation [49.295165476818866]
  本稿では、意味的セグメンテーションの文脈において、ソースドメインからターゲットドメインへの知識伝達の教師なし領域適応に焦点を当てる。 既存のアプローチでは、通常、擬似ラベルを未ラベルのターゲットドメインデータを完全に活用するための基礎的真理とみなす。 本稿では,擬似ラベル学習の修正のために,学習中の予測の不確かさを明示的に推定することを提案する。
  論文  参考訳（メタデータ） (2020-03-08T12:37:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。