論文の概要: The Fisher-Rao Loss for Learning under Label Noise
- arxiv url: http://arxiv.org/abs/2210.16401v1
- Date: Fri, 28 Oct 2022 20:50:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 19:59:16.503021
- Title: The Fisher-Rao Loss for Learning under Label Noise
- Title(参考訳): ラベル雑音下での学習におけるフィッシャー・ラオ損失
- Authors: Henrique K. Miyamoto, F\'abio C. C. Meneghetti, Sueli I. R. Costa
- Abstract要約: 離散分布の統計多様体におけるフィッシャー・ラオ距離から生じるフィッシャー・ラオ損失関数について検討する。
ラベルノイズの存在下での性能劣化の上限を導出し,この損失の学習速度を解析する。
- 参考スコア(独自算出の注目度): 9.238700679836855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Choosing a suitable loss function is essential when learning by empirical
risk minimisation. In many practical cases, the datasets used for training a
classifier may contain incorrect labels, which prompts the interest for using
loss functions that are inherently robust to label noise. In this paper, we
study the Fisher-Rao loss function, which emerges from the Fisher-Rao distance
in the statistical manifold of discrete distributions. We derive an upper bound
for the performance degradation in the presence of label noise, and analyse the
learning speed of this loss. Comparing with other commonly used losses, we
argue that the Fisher-Rao loss provides a natural trade-off between robustness
and training dynamics. Numerical experiments with synthetic and MNIST datasets
illustrate this performance.
- Abstract(参考訳): 経験的リスク最小化による学習には,適切な損失関数の選択が不可欠である。
多くの場合、分類器の訓練に使用されるデータセットには誤ったラベルが含まれており、ノイズに本質的に堅牢な損失関数の使用に対する関心を喚起する。
本稿では,離散分布の統計多様体におけるフィッシャー・ラオ距離から生じるフィッシャー・ラオ損失関数について検討する。
ラベル雑音の存在下での性能劣化の上限を導出し,この損失の学習速度を解析した。
他のよく使われる損失と比較して、フィッシャー・ラオの損失はロバストネスとトレーニング力学の自然なトレードオフをもたらすと論じる。
合成およびMNISTデータセットによる数値実験はこの性能を示す。
関連論文リスト
- Robust Loss Functions for Training Decision Trees with Noisy Labels [4.795403008763752]
我々は、頑健な学習アルゴリズムに繋がる損失関数に着目し、ノイズの多いラベル付きデータを用いて決定木を訓練することを検討する。
まず、決定木学習の文脈において、既存の損失関数のロバスト性に関する新しい理論的知見を提供する。
第2に,分散損失と呼ばれるロバストな損失関数を構築するためのフレームワークを導入する。
論文 参考訳(メタデータ) (2023-12-20T11:27:46Z) - Reevaluating Loss Functions: Enhancing Robustness to Label Noise in Deep
Learning Models [0.0]
大きな注釈付きデータセットには、必然的に誤ったラベルが含まれているため、ディープニューラルネットワークのトレーニングには大きな課題となる。
ノイズロバストモデルを作成するための単純で効果的な方法は、ノイズロバスト損失関数を使用することである。
提案する損失関数が適用可能な状況について検討し,適切な損失を選択する方法について提案する。
これは、有界損失の学習を著しく改善するだけでなく、Cifar-100データセットにおけるクロスエントロピー損失よりも優れた平均絶対誤差の損失をもたらす。
論文 参考訳(メタデータ) (2023-06-08T18:38:55Z) - Robust T-Loss for Medical Image Segmentation [56.524774292536264]
本稿では,医用画像分割のための新しいロバストな損失関数T-Lossを提案する。
提案した損失は、Student-t分布の負のログ類似度に基づいており、データ内の外れ値の処理を効果的に行うことができる。
実験の結果,T-Lossは2つの医療データセットのダイススコアにおいて従来の損失関数よりも優れていた。
論文 参考訳(メタデータ) (2023-06-01T14:49:40Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T14:49:59Z) - Improving the Robustness of Summarization Models by Detecting and
Removing Input Noise [50.27105057899601]
本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。
本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
論文 参考訳(メタデータ) (2022-12-20T00:33:11Z) - Robustness and reliability when training with noisy labels [12.688634089849023]
教師付き学習のためのデータの遅延は、コストと時間を要する可能性がある。
ディープニューラルネットワークは、ランダムラベルの適合、正規化、ロバストな損失関数の使用を証明している。
論文 参考訳(メタデータ) (2021-10-07T10:30:20Z) - On Codomain Separability and Label Inference from (Noisy) Loss Functions [11.780563744330038]
本稿では,任意の(ノイズの多い)損失関数値からラベル推論が可能となる必要かつ十分な条件を検討するために,コドメイン分離性の概念を導入する。
一般的なアクティベーション機能を持つマルチクラスクロスエントロピーや,ブレグマンの発散に基づく損失を含む,多くの一般的な損失関数に対して,任意の雑音レベルに対するラベル推論攻撃を設計可能であることを示す。
論文 参考訳(メタデータ) (2021-07-07T05:29:53Z) - Sample Selection with Uncertainty of Losses for Learning with Noisy
Labels [145.06552420999986]
ノイズの多いラベルで学習する際、サンプル選択アプローチは非常に人気があり、小さなロスデータをトレーニング中に正しくラベル付けされているとみなす。
しかし、ノイズラベルでトレーニングされたモデルに基づいて、損失をオンザフライで発生させるため、大容量のデータはおそらく正しくないが、確実に誤りではない。
本稿では,損失点推定の代わりに間隔推定を採用することにより,損失の不確実性を取り入れる。
論文 参考訳(メタデータ) (2021-06-01T12:53:53Z) - Searching for Robustness: Loss Learning for Noisy Classification Tasks [81.70914107917551]
テイラーを用いたフレキシブルな損失関数群をパラメタライズし、この空間におけるノイズロスの探索に進化的戦略を適用する。
その結果、ホワイトボックスの損失は、さまざまな下流タスクで効果的なノイズロバスト学習を可能にするシンプルで高速な「プラグアンドプレイ」モジュールを提供します。
論文 参考訳(メタデータ) (2021-02-27T15:27:22Z) - Risk Bounds for Robust Deep Learning [1.52292571922932]
ある種の損失関数は、データの欠陥に対してディープラーニングパイプラインを堅牢にすることができる。
特に,非有界リプシッツ連続損失関数,例えば最小絶対偏差損失,フーバー損失,コーシー損失,トゥキーの双重損失などの経験的リスク最小化は,データに対する最小の仮定の下で効率的に予測できることを示す。
論文 参考訳(メタデータ) (2020-09-14T05:06:59Z) - An Equivalence between Loss Functions and Non-Uniform Sampling in
Experience Replay [72.23433407017558]
非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。
驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
論文 参考訳(メタデータ) (2020-07-12T17:45:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。