論文の概要: When Optimizing $f$-divergence is Robust with Label Noise
- arxiv url: http://arxiv.org/abs/2011.03687v3
- Date: Wed, 18 Aug 2021 20:49:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 22:15:45.689332
- Title: When Optimizing $f$-divergence is Robust with Label Noise
- Title（参考訳）: f$-divergenceを最適化する場合、ラベルノイズは堅牢である
- Authors: Jiaheng Wei, Yang Liu
- Abstract要約: 分類器の予測に対して適切に定義された$f$-divergence測度を最大化する場合, 教師付きラベルはラベルノイズに頑健であることを示す。
ラベルノイズが現れるときの$f$-divergence($f$-divergence)の族に対するよい疎結合特性を導出する。そこでは、発散がクリーン分布に定義された変分差分と、ノイズによって導入されたバイアス項との線形結合であることが示される。
- 参考スコア（独自算出の注目度）: 10.452709936265274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We show when maximizing a properly defined $f$-divergence measure with
respect to a classifier's predictions and the supervised labels is robust with
label noise. Leveraging its variational form, we derive a nice decoupling
property for a family of $f$-divergence measures when label noise presents,
where the divergence is shown to be a linear combination of the variational
difference defined on the clean distribution and a bias term introduced due to
the noise. The above derivation helps us analyze the robustness of different
$f$-divergence functions. With established robustness, this family of
$f$-divergence functions arises as useful metrics for the problem of learning
with noisy labels, which do not require the specification of the labels' noise
rate. When they are possibly not robust, we propose fixes to make them so. In
addition to the analytical results, we present thorough experimental evidence.
Our code is available at
https://github.com/UCSC-REAL/Robust-f-divergence-measures.
- Abstract（参考訳）: 分類器の予測に対して適切に定義された$f$-divergence測度を最大化する場合, 教師付きラベルはラベルノイズに頑健であることを示す。
その変動形式を利用して、ラベルノイズが存在するときf$-divergence測度の族に対して、その発散がクリーン分布で定義される変動差とノイズによって導入されたバイアス項の線形結合であることが示される、素敵な分離特性を導出する。
上記の導出は、異なる$f$-divergence関数のロバスト性を分析するのに役立つ。
確立された堅牢性により、この$f$-divergence関数の族は、ラベルの雑音率の仕様を必要としないノイズラベルで学習する問題に有用な指標として現れる。
堅牢でない可能性がある場合は、そのようにするための修正を提案します。
分析結果に加えて, 詳細な実験的証拠も提示する。
私たちのコードはhttps://github.com/UCSC-REAL/Robust-f-divergence-measuresで利用可能です。
関連論文リスト
- Inaccurate Label Distribution Learning with Dependency Noise [52.08553913094809]
本稿では,依存雑音に基づく不正確なラベル分布学習(DN-ILDL)フレームワークを導入し,ラベル分布学習におけるノイズによる課題に対処する。
本稿では,DN-ILDLがILDL問題に効果的に対処し,既存のLCL法より優れていることを示す。
論文 参考訳（メタデータ） (2024-05-26T07:58:07Z) - Dirichlet-Based Prediction Calibration for Learning with Noisy Labels [40.78497779769083]
雑音ラベルによる学習はディープニューラルネットワーク(DNN)の一般化性能を著しく損なう
既存のアプローチでは、損失補正やサンプル選択手法によってこの問題に対処している。
そこで我々は,textitDirichlet-based Prediction (DPC) 法を解法として提案する。
論文 参考訳（メタデータ） (2024-01-13T12:33:04Z) - Label-Retrieval-Augmented Diffusion Models for Learning from Noisy
Labels [61.97359362447732]
ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。
本稿では,生成モデルの観点からラベルノイズ問題を再構成する。
我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
論文 参考訳（メタデータ） (2023-05-31T03:01:36Z) - Doubly Stochastic Models: Learning with Unbiased Label Noises and
Inference Stability [85.1044381834036]
勾配降下のミニバッチサンプリング設定におけるラベル雑音の暗黙的正則化効果について検討した。
そのような暗黙的正則化器は、パラメータの摂動に対してモデル出力を安定化できる収束点を好んでいる。
我々の研究は、SGDをオルンシュタイン-ウレンベック類似の過程とはみなせず、近似の収束によってより一般的な結果を得る。
論文 参考訳（メタデータ） (2023-04-01T14:09:07Z) - Lifting Weak Supervision To Structured Prediction [12.219011764895853]
弱監督 (WS) は、容易に得られるがノイズの多いラベル推定を集約することで擬似ラベルを生成する、豊富な手法のセットである。
擬ユークリッド埋め込みとテンソル分解に基づく弱監督手法を提案する。
ノイズのあるラベルを持つ構造化予測において頑健性を保証するとみなすこの結果のいくつかは、独立した関心事である可能性がある。
論文 参考訳（メタデータ） (2022-11-24T02:02:58Z) - Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。
我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
論文 参考訳（メタデータ） (2022-03-18T18:50:52Z) - Robustness and reliability when training with noisy labels [12.688634089849023]
教師付き学習のためのデータの遅延は、コストと時間を要する可能性がある。
ディープニューラルネットワークは、ランダムラベルの適合、正規化、ロバストな損失関数の使用を証明している。
論文 参考訳（メタデータ） (2021-10-07T10:30:20Z) - Label Noise in Adversarial Training: A Novel Perspective to Study Robust
Overfitting [45.58217741522973]
逆行訓練においてラベルノイズが存在することを示す。
このようなラベルノイズは、正反対例の真のラベル分布とクリーン例から受け継いだラベルとのミスマッチに起因する。
本稿では,ラベルノイズと頑健なオーバーフィッティングに対処するため,ラベルの自動校正手法を提案する。
論文 参考訳（メタデータ） (2021-10-07T01:15:06Z) - Instance-dependent Label-noise Learning under a Structural Causal Model [92.76400590283448]
ラベルノイズはディープラーニングアルゴリズムの性能を劣化させる。
構造因果モデルを活用することにより,実例依存型ラベルノイズ学習のための新しい生成手法を提案する。
論文 参考訳（メタデータ） (2021-09-07T10:42:54Z) - A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。
人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
論文 参考訳（メタデータ） (2020-12-22T06:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。