論文の概要: Cross-Entropy Loss Functions: Theoretical Analysis and Applications
- arxiv url: http://arxiv.org/abs/2304.07288v2
- Date: Tue, 20 Jun 2023 00:48:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 02:51:43.558087
- Title: Cross-Entropy Loss Functions: Theoretical Analysis and Applications
- Title（参考訳）: クロスエントロピー損失関数の理論解析とその応用
- Authors: Anqi Mao, Mehryar Mohri, Yutao Zhong
- Abstract要約: 本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。
これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。
これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
- 参考スコア（独自算出の注目度）: 27.3569897539488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-entropy is a widely used loss function in applications. It coincides
with the logistic loss applied to the outputs of a neural network, when the
softmax is used. But, what guarantees can we rely on when using cross-entropy
as a surrogate loss? We present a theoretical analysis of a broad family of
loss functions, comp-sum losses, that includes cross-entropy (or logistic
loss), generalized cross-entropy, the mean absolute error and other
cross-entropy-like loss functions. We give the first $H$-consistency bounds for
these loss functions. These are non-asymptotic guarantees that upper bound the
zero-one loss estimation error in terms of the estimation error of a surrogate
loss, for the specific hypothesis set $H$ used. We further show that our bounds
are tight. These bounds depend on quantities called minimizability gaps. To
make them more explicit, we give a specific analysis of these gaps for comp-sum
losses. We also introduce a new family of loss functions, smooth adversarial
comp-sum losses, that are derived from their comp-sum counterparts by adding in
a related smooth term. We show that these loss functions are beneficial in the
adversarial setting by proving that they admit $H$-consistency bounds. This
leads to new adversarial robustness algorithms that consist of minimizing a
regularized smooth adversarial comp-sum loss. While our main purpose is a
theoretical analysis, we also present an extensive empirical analysis comparing
comp-sum losses. We further report the results of a series of experiments
demonstrating that our adversarial robustness algorithms outperform the current
state-of-the-art, while also achieving a superior non-adversarial accuracy.
- Abstract（参考訳）: クロスエントロピーはアプリケーションで広く使われる損失関数である。
これは、ソフトマックスを使用するニューラルネットワークの出力に適用されるロジスティック損失と一致する。
しかし、クロスエントロピーを代理損失として使うとき、私たちは何を保証できるだろうか?
本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む広い損失関数群, comp-sum損失の理論的解析を行う。
これらの損失関数に対して最初の$h$-consistencyバウンダリを与える。
これらは、特定の仮説セットである$H$に対して、代理損失の推定誤差の観点からゼロ1損失推定誤差を上限とする漸近的でない保証である。
さらに、我々の限界が厳しいことも示します。
これらの境界はミニミザビリティギャップと呼ばれる量に依存する。
より明確にするために、これらのギャップを和和損失に限定して分析する。
また,類似のスムース項を付加することにより,新しい損失関数の族であるsmoous adversarial comp-sum loss(smoous adversarial comp-sum loss)を導入する。
これらの損失関数は、h$-consistencyバウンダリを許容していることを証明することによって、敵対的設定において有益であることを示している。
これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
本研究の主な目的は理論解析であるが, 累積損失を比較検討した広範な実証分析も提示する。
さらに,我々の対向ロバスト性アルゴリズムが現在の最先端技術よりも優れており,非対向精度も優れていることを示す一連の実験結果について報告する。
関連論文リスト
- Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity [54.145730036889496]
本稿では、ビザンツの悪意ある攻撃データの存在下でのグラディエント・ラーニング(FL)を扱う。
Average Algorithm (RAGA) が提案され、ロバストネスアグリゲーションを活用してデータセットを選択することができる。
論文 参考訳（メタデータ） (2024-03-20T08:15:08Z) - Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。
表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
論文 参考訳（メタデータ） (2023-05-23T12:20:29Z) - An Analysis of Loss Functions for Binary Classification and Regression [0.0]
本稿では,境界に基づく損失関数と二項分類および回帰応用における整合性の関係について検討する。
整合性(整合性)損失関数の簡単な特徴付けが与えられ、異なる損失の直接比較が可能である。
マージンと標準ロジスティック回帰残差の関係は導出され、すべてのマージンベース損失を正方形標準ロジスティック回帰残差の損失関数と見なすことができる。
論文 参考訳（メタデータ） (2023-01-18T16:26:57Z) - Loss Minimization through the Lens of Outcome Indistinguishability [11.709566373491619]
我々は凸損失と最近のOmnipredictionの概念について新しい視点を提示する。
設計上、Los OIは直感的かつ直感的に全滅を意味する。
一般化モデルから生じる損失の重要な集合に対する損失 OI は、完全な多重校正を必要としないことを示す。
論文 参考訳（メタデータ） (2022-10-16T22:25:27Z) - $\mathscr{H}$-Consistency Estimation Error of Surrogate Loss Minimizers [38.56401704010528]
本稿では,サロゲート損失推定誤差の観点から推定誤差を詳細に検討する。
このような保証を$mathscrH$-consistency estimation error boundsと呼ぶ。
論文 参考訳（メタデータ） (2022-05-16T23:13:36Z) - On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。
エルゴード理論の力学系に基づく新しい視点を提案する。
論文 参考訳（メタデータ） (2021-10-12T18:12:23Z) - Rethinking and Reweighting the Univariate Losses for Multi-Label
Ranking: Consistency and Generalization [44.73295800450414]
(部分)ランキング損失は、マルチラベル分類の一般的な評価尺度です。
既存の理論と実践の間にはギャップがある -- ペアワイズな損失は有望なパフォーマンスをもたらすが一貫性を欠く可能性がある。
論文 参考訳（メタデータ） (2021-05-10T09:23:27Z) - Calibration and Consistency of Adversarial Surrogate Losses [46.04004505351902]
adrialversa robustnessは、アプリケーションにおける分類器のますます重要な特性である。
しかし、どの代理損失を使うべきで、いつ理論的保証から利益を得るのか?
本稿では, H-calibration と H-consistency of adversarial surrogate loss の詳細な分析を含む, この問題の広範な研究について述べる。
論文 参考訳（メタデータ） (2021-04-19T21:58:52Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳（メタデータ） (2020-05-26T16:26:17Z) - Supervised Learning: No Loss No Cry [51.07683542418145]
教師付き学習は最小化するために損失関数の仕様を必要とする。
本稿では,Kakade et al. (2011)のSLIsotronアルゴリズムを新しいレンズで再検討する。
損失を学習するための原則的な手順をいかに提供するかを示す。
論文 参考訳（メタデータ） (2020-02-10T05:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。