論文の概要: Risk Bounds for Robust Deep Learning
- arxiv url: http://arxiv.org/abs/2009.06202v1
- Date: Mon, 14 Sep 2020 05:06:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 11:14:46.644208
- Title: Risk Bounds for Robust Deep Learning
- Title(参考訳): 堅牢なディープラーニングのためのリスク境界
- Authors: Johannes Lederer
- Abstract要約: ある種の損失関数は、データの欠陥に対してディープラーニングパイプラインを堅牢にすることができる。
特に,非有界リプシッツ連続損失関数,例えば最小絶対偏差損失,フーバー損失,コーシー損失,トゥキーの双重損失などの経験的リスク最小化は,データに対する最小の仮定の下で効率的に予測できることを示す。
- 参考スコア(独自算出の注目度): 1.52292571922932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It has been observed that certain loss functions can render deep-learning
pipelines robust against flaws in the data. In this paper, we support these
empirical findings with statistical theory. We especially show that
empirical-risk minimization with unbounded, Lipschitz-continuous loss
functions, such as the least-absolute deviation loss, Huber loss, Cauchy loss,
and Tukey's biweight loss, can provide efficient prediction under minimal
assumptions on the data. More generally speaking, our paper provides
theoretical evidence for the benefits of robust loss functions in deep
learning.
- Abstract(参考訳): ある種の損失関数は、データの欠陥に対してディープラーニングパイプラインを堅牢にすることができる。
本稿では,これらの経験的発見を統計的理論で支援する。
特に,非有界リプシッツ連続損失関数,例えば最小絶対偏差損失,フーバー損失,コーシー損失,トゥキーの双重損失などの経験的リスク最小化は,データに対する最小の仮定の下で効率的に予測できることを示す。
より一般的には、ディープラーニングにおけるロバストな損失関数の利点に関する理論的証拠を提供する。
関連論文リスト
- Robust Loss Functions for Training Decision Trees with Noisy Labels [4.795403008763752]
我々は、頑健な学習アルゴリズムに繋がる損失関数に着目し、ノイズの多いラベル付きデータを用いて決定木を訓練することを検討する。
まず、決定木学習の文脈において、既存の損失関数のロバスト性に関する新しい理論的知見を提供する。
第2に,分散損失と呼ばれるロバストな損失関数を構築するためのフレームワークを導入する。
論文 参考訳(メタデータ) (2023-12-20T11:27:46Z) - A Generalized Unbiased Risk Estimator for Learning with Augmented
Classes [70.20752731393938]
ラベルなしのデータが与えられた場合、非バイアスリスク推定器(URE)が導出され、理論的保証のあるLACでは最小限にすることができる。
理論的な保証を維持しつつ任意の損失関数を装備できる一般化されたUREを提案する。
論文 参考訳(メタデータ) (2023-06-12T06:52:04Z) - Reevaluating Loss Functions: Enhancing Robustness to Label Noise in Deep
Learning Models [0.0]
大きな注釈付きデータセットには、必然的に誤ったラベルが含まれているため、ディープニューラルネットワークのトレーニングには大きな課題となる。
ノイズロバストモデルを作成するための単純で効果的な方法は、ノイズロバスト損失関数を使用することである。
提案する損失関数が適用可能な状況について検討し,適切な損失を選択する方法について提案する。
これは、有界損失の学習を著しく改善するだけでなく、Cifar-100データセットにおけるクロスエントロピー損失よりも優れた平均絶対誤差の損失をもたらす。
論文 参考訳(メタデータ) (2023-06-08T18:38:55Z) - Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。
表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
論文 参考訳(メタデータ) (2023-05-23T12:20:29Z) - Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。
これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。
これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
論文 参考訳(メタデータ) (2023-04-14T17:58:23Z) - The Fisher-Rao Loss for Learning under Label Noise [9.238700679836855]
離散分布の統計多様体におけるフィッシャー・ラオ距離から生じるフィッシャー・ラオ損失関数について検討する。
ラベルノイズの存在下での性能劣化の上限を導出し,この損失の学習速度を解析する。
論文 参考訳(メタデータ) (2022-10-28T20:50:10Z) - Leveraged Weighted Loss for Partial Label Learning [64.85763991485652]
部分ラベル学習は、各インスタンスに候補ラベルのセットが割り当てられるデータを扱うが、そのうちの1つだけが真実である。
部分ラベルからの学習に関する多くの方法論の研究にもかかわらず、リスク一貫した性質に関する理論的理解はいまだに欠けている。
本稿では,テキスト重み付き損失(LW)と呼ばれる損失関数のファミリーを提案する。これはまず,部分ラベル上の損失と非部分的な損失とのトレードオフを検討するために,レバレッジパラメータ$beta$を導入する。
論文 参考訳(メタデータ) (2021-06-10T13:25:13Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳(メタデータ) (2021-06-03T09:50:13Z) - Lower-bounded proper losses for weakly supervised classification [73.974163801142]
本稿では,弱いラベルが与えられた分類の弱い教師付き学習の問題について議論する。
サベージ表現を双対化する教師付き学習における適切な損失を表す表現定理を導出する。
提案手法の有効性を,不適切な損失や非有界損失と比較して実験的に実証した。
論文 参考訳(メタデータ) (2021-03-04T08:47:07Z) - An Equivalence between Loss Functions and Non-Uniform Sampling in
Experience Replay [72.23433407017558]
非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。
驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
論文 参考訳(メタデータ) (2020-07-12T17:45:24Z) - Normalized Loss Functions for Deep Learning with Noisy Labels [39.32101898670049]
一般的に使用されているCross Entropy(CE)損失は,ノイズラベルに対して堅牢ではないことを示す。
アクティブ・パッシブ・ロス(APL)と呼ばれるロバストな損失関数を構築するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-24T08:25:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。