Fugu-MT 論文翻訳(概要): Risk Bounds for Robust Deep Learning

論文の概要: Risk Bounds for Robust Deep Learning

arxiv url: http://arxiv.org/abs/2009.06202v1
Date: Mon, 14 Sep 2020 05:06:59 GMT
ステータス: 処理完了
システム内更新日: 2022-10-18 11:14:46.644208
Title: Risk Bounds for Robust Deep Learning
Title（参考訳）: 堅牢なディープラーニングのためのリスク境界
Authors: Johannes Lederer
Abstract要約: ある種の損失関数は、データの欠陥に対してディープラーニングパイプラインを堅牢にすることができる。特に,非有界リプシッツ連続損失関数,例えば最小絶対偏差損失,フーバー損失,コーシー損失,トゥキーの双重損失などの経験的リスク最小化は,データに対する最小の仮定の下で効率的に予測できることを示す。
参考スコア（独自算出の注目度）: 1.52292571922932
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It has been observed that certain loss functions can render deep-learning pipelines robust against flaws in the data. In this paper, we support these empirical findings with statistical theory. We especially show that empirical-risk minimization with unbounded, Lipschitz-continuous loss functions, such as the least-absolute deviation loss, Huber loss, Cauchy loss, and Tukey's biweight loss, can provide efficient prediction under minimal assumptions on the data. More generally speaking, our paper provides theoretical evidence for the benefits of robust loss functions in deep learning.
Abstract（参考訳）: ある種の損失関数は、データの欠陥に対してディープラーニングパイプラインを堅牢にすることができる。本稿では,これらの経験的発見を統計的理論で支援する。特に,非有界リプシッツ連続損失関数,例えば最小絶対偏差損失,フーバー損失,コーシー損失,トゥキーの双重損失などの経験的リスク最小化は,データに対する最小の仮定の下で効率的に予測できることを示す。より一般的には、ディープラーニングにおけるロバストな損失関数の利点に関する理論的証拠を提供する。

関連論文リスト

A Versatile Influence Function for Data Attribution with Non-Decomposable Loss [3.1615846013409925]
本稿では,非分解不能な損失を学習した機械学習モデルに対して,直接適用可能なVersatile Influence Function (VIF)を提案する。 VIFはデータ属性の大幅な進歩を表しており、幅広い機械学習パラダイムにまたがる効率的な影響関数ベースの属性を可能にする。
論文参考訳（メタデータ） (2024-12-02T09:59:01Z)
EnsLoss: Stochastic Calibrated Loss Ensembles for Preventing Overfitting in Classification [1.3778851745408134]
経験的リスク最小化フレームワーク内で損失関数を結合する新しいアンサンブル手法,すなわちEnsLossを提案する。まず、損失のCC条件を損失導関数に変換し、明示的な損失関数の必要性を回避した。理論的には、我々のアプローチの統計的一貫性を確立し、その利点に関する洞察を提供する。
論文参考訳（メタデータ） (2024-09-02T02:40:42Z)
LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
論文参考訳（メタデータ） (2024-08-12T17:08:31Z)
Robust Loss Functions for Training Decision Trees with Noisy Labels [4.795403008763752]
我々は、頑健な学習アルゴリズムに繋がる損失関数に着目し、ノイズの多いラベル付きデータを用いて決定木を訓練することを検討する。まず、決定木学習の文脈において、既存の損失関数のロバスト性に関する新しい理論的知見を提供する。第2に,分散損失と呼ばれるロバストな損失関数を構築するためのフレームワークを導入する。
論文参考訳（メタデータ） (2023-12-20T11:27:46Z)
A Generalized Unbiased Risk Estimator for Learning with Augmented Classes [70.20752731393938]
ラベルなしのデータが与えられた場合、非バイアスリスク推定器(URE)が導出され、理論的保証のあるLACでは最小限にすることができる。理論的な保証を維持しつつ任意の損失関数を装備できる一般化されたUREを提案する。
論文参考訳（メタデータ） (2023-06-12T06:52:04Z)
Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
論文参考訳（メタデータ） (2023-05-23T12:20:29Z)
Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
論文参考訳（メタデータ） (2023-04-14T17:58:23Z)
The Fisher-Rao Loss for Learning under Label Noise [9.238700679836855]
離散分布の統計多様体におけるフィッシャー・ラオ距離から生じるフィッシャー・ラオ損失関数について検討する。ラベルノイズの存在下での性能劣化の上限を導出し,この損失の学習速度を解析する。
論文参考訳（メタデータ） (2022-10-28T20:50:10Z)
Leveraged Weighted Loss for Partial Label Learning [64.85763991485652]
部分ラベル学習は、各インスタンスに候補ラベルのセットが割り当てられるデータを扱うが、そのうちの1つだけが真実である。部分ラベルからの学習に関する多くの方法論の研究にもかかわらず、リスク一貫した性質に関する理論的理解はいまだに欠けている。本稿では,テキスト重み付き損失(LW)と呼ばれる損失関数のファミリーを提案する。これはまず,部分ラベル上の損失と非部分的な損失とのトレードオフを検討するために,レバレッジパラメータ$beta$を導入する。
論文参考訳（メタデータ） (2021-06-10T13:25:13Z)
Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文参考訳（メタデータ） (2021-06-03T09:50:13Z)
Lower-bounded proper losses for weakly supervised classification [73.974163801142]
本稿では,弱いラベルが与えられた分類の弱い教師付き学習の問題について議論する。サベージ表現を双対化する教師付き学習における適切な損失を表す表現定理を導出する。提案手法の有効性を,不適切な損失や非有界損失と比較して実験的に実証した。
論文参考訳（メタデータ） (2021-03-04T08:47:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。