論文の概要: An Exploration into why Output Regularization Mitigates Label Noise

• arxiv url: http://arxiv.org/abs/2104.12477v1
• Date: Mon, 26 Apr 2021 11:16:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 14:29:22.641669
• Title: An Exploration into why Output Regularization Mitigates Label Noise
• Title（参考訳）: 出力正規化がラベルノイズを軽減する理由の探索
• Authors: Neta Shoham, Tomer Avidor, Nadav Israel
• Abstract要約: 騒音のロバストな損失は、ラベルノイズを扱うためのより有望なアプローチの1つである。 ラベル平滑化やエントロピーといった出力正規化項を含む損失は、正規化係数が無限大になるにつれて対称になることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Label noise presents a real challenge for supervised learning algorithms. Consequently, mitigating label noise has attracted immense research in recent years. Noise robust losses is one of the more promising approaches for dealing with label noise, as these methods only require changing the loss function and do not require changing the design of the classifier itself, which can be expensive in terms of development time. In this work we focus on losses that use output regularization (such as label smoothing and entropy). Although these losses perform well in practice, their ability to mitigate label noise lack mathematical rigor. In this work we aim at closing this gap by showing that losses, which incorporate an output regularization term, become symmetric as the regularization coefficient goes to infinity. We argue that the regularization coefficient can be seen as a hyper-parameter controlling the symmetricity, and thus, the noise robustness of the loss function.
• Abstract（参考訳）: ラベルノイズは教師付き学習アルゴリズムの真の課題である。 その結果,近年,ラベルノイズの低減が注目されている。 ノイズロバストな損失は、ラベルノイズを扱うためのより有望なアプローチの1つであり、これらの手法は損失関数を変更するだけで、開発時間の観点から高価な分類器自体の設計を変更する必要はない。 本研究では、出力正則化(ラベルの平滑化やエントロピーなど)を使用する損失に焦点を当てる。 これらの損失は実際によく機能するが、ラベルノイズを緩和する能力は数学的厳密さを欠いている。 本研究は,正規化係数が無限に近づくにつれて,出力正規化項を含む損失が対称となることを示すことにより,このギャップを埋めることを目的とする。 我々は、正規化係数を対称性を制御する超パラメータと見なすことができ、損失関数のノイズロバスト性について論じる。

関連論文リスト

• Mitigating Memorization of Noisy Labels by Clipping the Model Prediction [43.11056374542014]
  クロスエントロピー(CE)の損失は、その非有界性のため、ノイズの多いラベルに対して堅牢ではないことが示されている。 我々は、ロジットベクトルのノルムをクランプして、それが定数で上界であることを保証するLogitClipを提案する。
  論文  参考訳（メタデータ） (2022-12-08T03:35:42Z)
• Do We Need to Penalize Variance of Losses for Learning with Label Noise? [91.38888889609002]
  ノイズラベルを用いた学習では,差分を増大させる必要がある。 ラベルノイズ遷移行列を利用することで、正規化器は損失の分散を低減することができる。 実験的に,損失の分散を増大させることにより,合成データセットと実世界のデータセットのベースラインの一般化能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-01-30T06:19:08Z)
• Analyzing and Improving the Optimization Landscape of Noise-Contrastive Estimation [50.85788484752612]
  ノイズコントラスト推定(NCE)は、非正規化確率モデルを学習するための統計的に一貫した手法である。 ノイズ分布の選択がNCEの性能に不可欠であることが実験的に観察されている。 本研究では,不適切な雑音分布を用いた場合,NCEの性能低下の原因を正式に指摘する。
  論文  参考訳（メタデータ） (2021-10-21T16:57:45Z)
• Robustness and reliability when training with noisy labels [12.688634089849023]
  教師付き学習のためのデータの遅延は、コストと時間を要する可能性がある。 ディープニューラルネットワークは、ランダムラベルの適合、正規化、ロバストな損失関数の使用を証明している。
  論文  参考訳（メタデータ） (2021-10-07T10:30:20Z)
• Learning with Noisy Labels via Sparse Regularization [76.31104997491695]
  ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。 クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。 我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
  論文  参考訳（メタデータ） (2021-07-31T09:40:23Z)
• Asymmetric Loss Functions for Learning with Noisy Labels [82.50250230688388]
  そこで本研究では,様々なノイズに対する雑音ラベルによる学習に頑健な,新しい損失関数,すなわちテクスティタ対称損失関数を提案する。 ベンチマークデータセットの実験結果は、非対称損失関数が最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2021-06-06T12:52:48Z)
• Fitting quantum noise models to tomography data [0.0]
  我々は未知のノイズ過程を分析し評価するアルゴリズムを開発した。 マルコフ進化に整合した力学の場合、我々のアルゴリズムは最良のリンドブラディアンを出力する。 非マルコフ力学の場合、我々のアルゴリズムは非マルコフ性の定量的かつ操作的に有意な測度を返す。
  論文  参考訳（メタデータ） (2021-03-31T17:44:50Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。