論文の概要: Cross-Entropy Loss Functions: Theoretical Analysis and Applications
- arxiv url: http://arxiv.org/abs/2304.07288v1
- Date: Fri, 14 Apr 2023 17:58:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-17 12:53:09.157084
- Title: Cross-Entropy Loss Functions: Theoretical Analysis and Applications
- Title（参考訳）: クロスエントロピー損失関数の理論解析とその応用
- Authors: Anqi Mao, Mehryar Mohri, Yutao Zhong
- Abstract要約: 本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化されたクロスエントロピー, 平均絶対誤差, その他の損失クロスエントロピー様関数を含む, 幅広い損失群, 和和損失の理論的解析を行う。
これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。
これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
- 参考スコア（独自算出の注目度）: 27.3569897539488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-entropy is a widely used loss function in applications. It coincides
with the logistic loss applied to the outputs of a neural network, when the
softmax is used. But, what guarantees can we rely on when using cross-entropy
as a surrogate loss? We present a theoretical analysis of a broad family of
losses, comp-sum losses, that includes cross-entropy (or logistic loss),
generalized cross-entropy, the mean absolute error and other loss
cross-entropy-like functions. We give the first $H$-consistency bounds for
these loss functions. These are non-asymptotic guarantees that upper bound the
zero-one loss estimation error in terms of the estimation error of a surrogate
loss, for the specific hypothesis set $H$ used. We further show that our bounds
are tight. These bounds depend on quantities called minimizability gaps, which
only depend on the loss function and the hypothesis set. To make them more
explicit, we give a specific analysis of these gaps for comp-sum losses. We
also introduce a new family of loss functions, smooth adversarial comp-sum
losses, derived from their comp-sum counterparts by adding in a related smooth
term. We show that these loss functions are beneficial in the adversarial
setting by proving that they admit $H$-consistency bounds. This leads to new
adversarial robustness algorithms that consist of minimizing a regularized
smooth adversarial comp-sum loss. While our main purpose is a theoretical
analysis, we also present an extensive empirical analysis comparing comp-sum
losses. We further report the results of a series of experiments demonstrating
that our adversarial robustness algorithms outperform the current
state-of-the-art, while also achieving a superior non-adversarial accuracy.
- Abstract（参考訳）: クロスエントロピーはアプリケーションで広く使われる損失関数である。
これは、ソフトマックスを使用するニューラルネットワークの出力に適用されるロジスティック損失と一致する。
しかし、クロスエントロピーを代理損失として使うとき、私たちは何を保証できるだろうか?
本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化されたクロスエントロピー, 平均絶対誤差, その他の損失クロスエントロピー様関数を含む, 幅広い損失群, 和和損失の理論的解析を行う。
これらの損失関数に対して最初の$h$-consistencyバウンダリを与える。
これらは、特定の仮説セットである$H$に対して、代理損失の推定誤差の観点からゼロ1損失推定誤差を上限とする漸近的でない保証である。
さらに、我々の限界が厳しいことも示します。
これらの境界はミニミザビリティギャップと呼ばれる量に依存し、損失関数と仮説集合のみに依存する。
より明確にするために、これらのギャップを和和損失に限定して分析する。
また,新しい損失関数の族であるsmooth adversarial comp-sum loss(smooth adversarial comp-sum loss)についても紹介する。
これらの損失関数は、h$-consistencyバウンダリを許容していることを証明することによって、敵対的設定において有益であることを示している。
これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
本研究の主な目的は理論解析であるが, 累積損失を比較検討した広範な実証分析も提示する。
さらに,我々の対向ロバスト性アルゴリズムが現在の最先端技術よりも優れており,非対向精度も優れていることを示す一連の実験結果について報告する。
関連論文リスト
- LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。
我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-12T17:08:31Z) - Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity [54.145730036889496]
本稿では、ビザンツの悪意ある攻撃データの存在下でのグラディエント・ラーニング(FL)を扱う。
Average Algorithm (RAGA) が提案され、ロバストネスアグリゲーションを活用してデータセットを選択することができる。
論文 参考訳（メタデータ） (2024-03-20T08:15:08Z) - Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。
表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
論文 参考訳（メタデータ） (2023-05-23T12:20:29Z) - An Analysis of Loss Functions for Binary Classification and Regression [0.0]
本稿では,境界に基づく損失関数と二項分類および回帰応用における整合性の関係について検討する。
整合性(整合性)損失関数の簡単な特徴付けが与えられ、異なる損失の直接比較が可能である。
マージンと標準ロジスティック回帰残差の関係は導出され、すべてのマージンベース損失を正方形標準ロジスティック回帰残差の損失関数と見なすことができる。
論文 参考訳（メタデータ） (2023-01-18T16:26:57Z) - Loss Minimization through the Lens of Outcome Indistinguishability [11.709566373491619]
我々は凸損失と最近のOmnipredictionの概念について新しい視点を提示する。
設計上、Los OIは直感的かつ直感的に全滅を意味する。
一般化モデルから生じる損失の重要な集合に対する損失 OI は、完全な多重校正を必要としないことを示す。
論文 参考訳（メタデータ） (2022-10-16T22:25:27Z) - $\mathscr{H}$-Consistency Estimation Error of Surrogate Loss Minimizers [38.56401704010528]
本稿では,サロゲート損失推定誤差の観点から推定誤差を詳細に検討する。
このような保証を$mathscrH$-consistency estimation error boundsと呼ぶ。
論文 参考訳（メタデータ） (2022-05-16T23:13:36Z) - On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。
エルゴード理論の力学系に基づく新しい視点を提案する。
論文 参考訳（メタデータ） (2021-10-12T18:12:23Z) - Rethinking and Reweighting the Univariate Losses for Multi-Label
Ranking: Consistency and Generalization [44.73295800450414]
(部分)ランキング損失は、マルチラベル分類の一般的な評価尺度です。
既存の理論と実践の間にはギャップがある -- ペアワイズな損失は有望なパフォーマンスをもたらすが一貫性を欠く可能性がある。
論文 参考訳（メタデータ） (2021-05-10T09:23:27Z) - Calibration and Consistency of Adversarial Surrogate Losses [46.04004505351902]
adrialversa robustnessは、アプリケーションにおける分類器のますます重要な特性である。
しかし、どの代理損失を使うべきで、いつ理論的保証から利益を得るのか?
本稿では, H-calibration と H-consistency of adversarial surrogate loss の詳細な分析を含む, この問題の広範な研究について述べる。
論文 参考訳（メタデータ） (2021-04-19T21:58:52Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳（メタデータ） (2020-05-26T16:26:17Z) - Supervised Learning: No Loss No Cry [51.07683542418145]
教師付き学習は最小化するために損失関数の仕様を必要とする。
本稿では,Kakade et al. (2011)のSLIsotronアルゴリズムを新しいレンズで再検討する。
損失を学習するための原則的な手順をいかに提供するかを示す。
論文 参考訳（メタデータ） (2020-02-10T05:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。