論文の概要: Noise contrastive estimation with soft targets for conditional models

• arxiv url: http://arxiv.org/abs/2404.14076v1
• Date: Mon, 22 Apr 2024 10:45:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 14:16:23.983235
• Title: Noise contrastive estimation with soft targets for conditional models
• Title（参考訳）: 条件付きモデルに対するソフトターゲットによるノイズコントラスト推定
• Authors: Johannes Hugger, Virginie Uhlmann,
• Abstract要約: 本稿では,確率的目標に適合する基本的損失関数を提案する。 我々の新しいソフトターゲットInfoNCE損失は概念的にはシンプルで、計算に効率的であり、ノイズコントラスト推定の枠組みの中で導出することができる。 ソフトターゲットInfoNCEは,強いソフトターゲットのクロスエントロピーベースラインと同等に動作し,一般的なベンチマークにおいてハードターゲットNLLとInfoNCEの損失を上回ります。
• 参考スコア（独自算出の注目度）: 0.6138671548064356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Soft targets combined with the cross-entropy loss have shown to improve generalization performance of deep neural networks on supervised classification tasks. The standard cross-entropy loss however assumes data to be categorically distributed, which may often not be the case in practice. In contrast, InfoNCE does not rely on such an explicit assumption but instead implicitly estimates the true conditional through negative sampling. Unfortunately, it cannot be combined with soft targets in its standard formulation, hindering its use in combination with sophisticated training strategies. In this paper, we address this limitation by proposing a principled loss function that is compatible with probabilistic targets. Our new soft target InfoNCE loss is conceptually simple, efficient to compute, and can be derived within the framework of noise contrastive estimation. Using a toy example, we demonstrate shortcomings of the categorical distribution assumption of cross-entropy, and discuss implications of sampling from soft distributions. We observe that soft target InfoNCE performs on par with strong soft target cross-entropy baselines and outperforms hard target NLL and InfoNCE losses on popular benchmarks, including ImageNet. Finally, we provide a simple implementation of our loss, geared towards supervised classification and fully compatible with deep classification model trained with cross-entropy.
• Abstract（参考訳）: ソフトターゲットとクロスエントロピー損失を組み合わせることで、教師付き分類タスクにおけるディープニューラルネットワークの一般化性能を向上させることが示されている。 しかし、標準的なクロスエントロピー損失はデータが分類的に分散されることを前提としており、実際にはそうではないことが多い。 対照的にInfoNCEはそのような明示的な仮定に頼るのではなく、負のサンプリングによって真条件を暗黙的に推定する。 残念ながら、標準的な定式化ではソフトターゲットと組み合わせることはできないため、高度なトレーニング戦略と組み合わせることを妨げる。 本稿では,確率的目標に適合する原理的損失関数を提案することによって,この制限に対処する。 我々の新しいソフトターゲットInfoNCE損失は概念的にはシンプルで、計算に効率的であり、ノイズコントラスト推定の枠組みの中で導出することができる。 おもちゃの例を用いて,クロスエントロピーのカテゴリー分布仮定の欠点を示し,ソフト分布からのサンプリングがもたらす影響について議論する。 ソフトターゲットInfoNCEは、強力なソフトターゲットクロスエントロピーベースラインと同等に動作し、ImageNetを含む人気のあるベンチマークにおいて、ハードターゲットNLLとInfoNCEの損失を上回ります。 最後に、教師付き分類を指向し、クロスエントロピーで訓練された深層分類モデルと完全に互換性のある、損失の簡単な実装を提供する。

関連論文リスト

• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Uncertainty-weighted Loss Functions for Improved Adversarial Attacks on Semantic Segmentation [16.109860499330562]
  分類モデルのために開発された敵攻撃は、セグメンテーションモデルにも適用可能であることが示された。 このような攻撃の損失関数に対する単純な不確実性に基づく重み付け方式を提案する。 重み付けスキームは、よく知られた敵攻撃者の損失関数に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-10-26T14:47:10Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Using Focal Loss to Fight Shallow Heuristics: An Empirical Analysis of Modulated Cross-Entropy in Natural Language Inference [0.0]
  一部のデータセットでは、深層ニューラルネットワークが学習プロセスのショートカットを可能にする基盤を発見し、結果として一般化能力が低下する。 標準のクロスエントロピーを使う代わりに、焦点損失と呼ばれる変調されたクロスエントロピーが、基礎を使わずに一般化性能を向上させるためにモデルを制約できるかどうかを検討する。 自然言語推論実験により, 焦点損失は学習過程に一定の影響を与え, 分布外データの精度は向上するが, 分布内データの性能はわずかに低下することがわかった。
  論文  参考訳（メタデータ） (2022-11-23T22:19:00Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• Similarity Based Label Smoothing For Dialogue Generation [1.1279808969568252]
  生成的神経会話システムは一般に、訓練対象の「堅い」目標と予測ロジットの間のエントロピー損失を最小限に抑える目的で訓練される。 ラベルの平滑化は、不正なトレーニングターゲットにデータ独立の均一な分布を強制する。 本稿では,ラベル平滑化における不正確な対象確率の均一分布を,意味論に基づくより自然な分布に変換することを提案する。
  論文  参考訳（メタデータ） (2021-07-23T23:25:19Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• Adversarially Robust Learning via Entropic Regularization [31.6158163883893]
  我々は、敵対的に堅牢なディープニューラルネットワークを訓練するための新しいアルゴリズムATENTを提案する。 我々の手法は、頑健な分類精度の観点から、競争力(またはより良い)性能を達成する。
  論文  参考訳（メタデータ） (2020-08-27T18:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。