Fugu-MT 論文翻訳(概要): The Fisher-Rao Loss for Learning under Label Noise

論文の概要: The Fisher-Rao Loss for Learning under Label Noise

arxiv url: http://arxiv.org/abs/2210.16401v1
Date: Fri, 28 Oct 2022 20:50:10 GMT
ステータス: 処理完了
システム内更新日: 2022-11-01 19:59:16.503021
Title: The Fisher-Rao Loss for Learning under Label Noise
Title（参考訳）: ラベル雑音下での学習におけるフィッシャー・ラオ損失
Authors: Henrique K. Miyamoto, F\'abio C. C. Meneghetti, Sueli I. R. Costa
Abstract要約: 離散分布の統計多様体におけるフィッシャー・ラオ距離から生じるフィッシャー・ラオ損失関数について検討する。ラベルノイズの存在下での性能劣化の上限を導出し,この損失の学習速度を解析する。
参考スコア（独自算出の注目度）: 9.238700679836855
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Choosing a suitable loss function is essential when learning by empirical risk minimisation. In many practical cases, the datasets used for training a classifier may contain incorrect labels, which prompts the interest for using loss functions that are inherently robust to label noise. In this paper, we study the Fisher-Rao loss function, which emerges from the Fisher-Rao distance in the statistical manifold of discrete distributions. We derive an upper bound for the performance degradation in the presence of label noise, and analyse the learning speed of this loss. Comparing with other commonly used losses, we argue that the Fisher-Rao loss provides a natural trade-off between robustness and training dynamics. Numerical experiments with synthetic and MNIST datasets illustrate this performance.
Abstract（参考訳）: 経験的リスク最小化による学習には,適切な損失関数の選択が不可欠である。多くの場合、分類器の訓練に使用されるデータセットには誤ったラベルが含まれており、ノイズに本質的に堅牢な損失関数の使用に対する関心を喚起する。本稿では,離散分布の統計多様体におけるフィッシャー・ラオ距離から生じるフィッシャー・ラオ損失関数について検討する。ラベル雑音の存在下での性能劣化の上限を導出し,この損失の学習速度を解析した。他のよく使われる損失と比較して、フィッシャー・ラオの損失はロバストネスとトレーニング力学の自然なトレードオフをもたらすと論じる。合成およびMNISTデータセットによる数値実験はこの性能を示す。

関連論文リスト

LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
論文参考訳（メタデータ） (2024-08-12T17:08:31Z)
Robust Loss Functions for Training Decision Trees with Noisy Labels [4.795403008763752]
我々は、頑健な学習アルゴリズムに繋がる損失関数に着目し、ノイズの多いラベル付きデータを用いて決定木を訓練することを検討する。まず、決定木学習の文脈において、既存の損失関数のロバスト性に関する新しい理論的知見を提供する。第2に,分散損失と呼ばれるロバストな損失関数を構築するためのフレームワークを導入する。
論文参考訳（メタデータ） (2023-12-20T11:27:46Z)
Noise-Robust Loss Functions: Enhancing Bounded Losses for Large-Scale Noisy Data Learning [0.0]
大きな注釈付きデータセットには、必然的にノイズのあるラベルが含まれており、ラベルを覚えやすいようにディープニューラルネットワークをトレーニングする上で大きな課題となる。ノイズ・ロバスト損失関数はこの問題に対処するための重要な戦略として現れてきたが、過度に適合しないロバスト損失関数を作成することは依然として困難である。本稿では,ロジットバイアス(logit bias)と表される新しい手法を提案し,ロジットに正しいクラスの位置で実数$epsilon$を付加する。
論文参考訳（メタデータ） (2023-06-08T18:38:55Z)
Robust T-Loss for Medical Image Segmentation [56.524774292536264]
本稿では,医用画像分割のための新しいロバストな損失関数T-Lossを提案する。提案した損失は、Student-t分布の負のログ類似度に基づいており、データ内の外れ値の処理を効果的に行うことができる。実験の結果,T-Lossは2つの医療データセットのダイススコアにおいて従来の損失関数よりも優れていた。
論文参考訳（メタデータ） (2023-06-01T14:49:40Z)
Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-06T14:49:59Z)
Robustness and reliability when training with noisy labels [12.688634089849023]
教師付き学習のためのデータの遅延は、コストと時間を要する可能性がある。ディープニューラルネットワークは、ランダムラベルの適合、正規化、ロバストな損失関数の使用を証明している。
論文参考訳（メタデータ） (2021-10-07T10:30:20Z)
On Codomain Separability and Label Inference from (Noisy) Loss Functions [11.780563744330038]
本稿では,任意の(ノイズの多い)損失関数値からラベル推論が可能となる必要かつ十分な条件を検討するために,コドメイン分離性の概念を導入する。一般的なアクティベーション機能を持つマルチクラスクロスエントロピーや,ブレグマンの発散に基づく損失を含む,多くの一般的な損失関数に対して,任意の雑音レベルに対するラベル推論攻撃を設計可能であることを示す。
論文参考訳（メタデータ） (2021-07-07T05:29:53Z)
Sample Selection with Uncertainty of Losses for Learning with Noisy Labels [145.06552420999986]
ノイズの多いラベルで学習する際、サンプル選択アプローチは非常に人気があり、小さなロスデータをトレーニング中に正しくラベル付けされているとみなす。しかし、ノイズラベルでトレーニングされたモデルに基づいて、損失をオンザフライで発生させるため、大容量のデータはおそらく正しくないが、確実に誤りではない。本稿では,損失点推定の代わりに間隔推定を採用することにより,損失の不確実性を取り入れる。
論文参考訳（メタデータ） (2021-06-01T12:53:53Z)
Searching for Robustness: Loss Learning for Noisy Classification Tasks [81.70914107917551]
テイラーを用いたフレキシブルな損失関数群をパラメタライズし、この空間におけるノイズロスの探索に進化的戦略を適用する。その結果、ホワイトボックスの損失は、さまざまな下流タスクで効果的なノイズロバスト学習を可能にするシンプルで高速な「プラグアンドプレイ」モジュールを提供します。
論文参考訳（メタデータ） (2021-02-27T15:27:22Z)
Risk Bounds for Robust Deep Learning [1.52292571922932]
ある種の損失関数は、データの欠陥に対してディープラーニングパイプラインを堅牢にすることができる。特に,非有界リプシッツ連続損失関数,例えば最小絶対偏差損失,フーバー損失,コーシー損失,トゥキーの双重損失などの経験的リスク最小化は,データに対する最小の仮定の下で効率的に予測できることを示す。
論文参考訳（メタデータ） (2020-09-14T05:06:59Z)
An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay [72.23433407017558]
非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
論文参考訳（メタデータ） (2020-07-12T17:45:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。