論文の概要: Bias-variance decompositions: the exclusive privilege of Bregman divergences
- arxiv url: http://arxiv.org/abs/2501.18581v1
- Date: Thu, 30 Jan 2025 18:52:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-31 15:14:24.726573
- Title: Bias-variance decompositions: the exclusive privilege of Bregman divergences
- Title（参考訳）: バイアス分散分解 : ブレグマン発散の排他的特権
- Authors: Tom Heskes,
- Abstract要約: 軽度規則性条件下では,認識不能者の同一性を満たす連続的,非負の損失関数について検討する。
$g$-Bregman の発散は、変数の可逆変化を通じて標準的なブレグマン発散に変換することができる。
- 参考スコア（独自算出の注目度）: 0.8158530638728501
- License:
- Abstract: Bias-variance decompositions are widely used to understand the generalization performance of machine learning models. While the squared error loss permits a straightforward decomposition, other loss functions - such as zero-one loss or $L_1$ loss - either fail to sum bias and variance to the expected loss or rely on definitions that lack the essential properties of meaningful bias and variance. Recent research has shown that clean decompositions can be achieved for the broader class of Bregman divergences, with the cross-entropy loss as a special case. However, the necessary and sufficient conditions for these decompositions remain an open question. In this paper, we address this question by studying continuous, nonnegative loss functions that satisfy the identity of indiscernibles under mild regularity conditions. We prove that so-called $g$-Bregman divergences are the only such loss functions that have a clean bias-variance decomposition. A $g$-Bregman divergence can be transformed into a standard Bregman divergence through an invertible change of variables. This makes the squared Mahalanobis distance, up to such a variable transformation, the only symmetric loss function with a clean bias-variance decomposition. We also examine the impact of relaxing the restrictions on the loss functions and how this affects our results.
- Abstract（参考訳）: バイアス分散分解は機械学習モデルの一般化性能を理解するために広く用いられている。
正方形誤差損失は単純な分解を許すが、0-one損失や$L_1$損失といった他の損失関数は、期待される損失に対するバイアスと分散を和らげることに失敗するか、意味のあるバイアスと分散の本質的な性質を欠く定義に依存している。
近年の研究では、Bregman発散の幅広いクラスに対して、クロスエントロピー損失を特別なケースとして、クリーンな分解が達成できることが示されている。
しかし、これらの分解に必要な十分条件は未解決のままである。
本稿では, 軽度規則性条件下での認識不能者の同一性を満たす連続的非負の損失関数について検討することにより, この問題に対処する。
いわゆる$g$-Bregman発散が、きれいなバイアス分散分解を持つ損失関数であることを示す。
$g$-Bregman の発散は、変数の可逆変化を通じて標準的なブレグマン発散に変換することができる。
これにより、正方形マハラノビス距離は、そのような変動変換まで、きれいなバイアス分散分解を持つ唯一の対称損失函数となる。
また、損失関数に対する制限緩和の効果と、それが結果に与える影響についても検討する。
関連論文リスト
- A unified law of robustness for Bregman divergence losses [2.014089835498735]
本稿では,ブレグマン分散損失が2乗損失とクロスエントロピー損失の共通一般化を形成することを示す。
我々の一般化は、ブベックとセルクの証明の中心にあるバイアス分散型分解の同定に依存する。
論文 参考訳（メタデータ） (2024-05-26T17:30:44Z) - Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。
これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。
これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
論文 参考訳（メタデータ） (2023-04-14T17:58:23Z) - The Geometry and Calculus of Losses [10.451984251615512]
本稿では,二項・多クラス分類とクラス確率推定問題に対する損失関数の理論を開発する。
視点は3つの新しい機会を提供する。
これにより、これまで気付かなかったと思われる損失と(反)ノルムの基本的な関係の開発が可能になる。
第二に、凸集合の計算によって引き起こされる損失の計算の開発を可能にする。
第三に、パースペクティブは、損失を定義する凸集合の極双対から導かれる極の損失関数の自然な理論につながる。
論文 参考訳（メタデータ） (2022-09-01T05:57:19Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳（メタデータ） (2022-04-07T17:59:19Z) - Understanding the bias-variance tradeoff of Bregman divergences [13.006468721874372]
本稿では,任意のブレグマン発散損失関数に対するバイアス分散トレードオフを一般化したPfau (2013) の業績に基づく。
ラベルと同様、中心予測は確率変数の平均と解釈でき、損失関数自身で定義される双対空間で平均が動作することを示す。
論文 参考訳（メタデータ） (2022-02-08T22:06:16Z) - Invariance Principle Meets Information Bottleneck for
Out-of-Distribution Generalization [77.24152933825238]
線形分類タスクには分布シフトの強い制限が必要であり、そうでなければ OOD の一般化は不可能であることを示す。
不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。
論文 参考訳（メタデータ） (2021-06-11T20:42:27Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Implicit Regularization in ReLU Networks with the Square Loss [56.70360094597169]
モデルパラメータの明示的な関数によって、平方損失による暗黙の正規化を特徴付けることは不可能であることを示す。
非線形予測器の暗黙的正規化を理解するためには,より一般的な枠組みが必要であることが示唆された。
論文 参考訳（メタデータ） (2020-12-09T16:48:03Z) - Unbiased Estimation Equation under $f$-Separable Bregman Distortion
Measures [0.3553493344868413]
単調に増大する関数$f$とブレグマン発散を用いた対象関数のクラスにおける非バイアス推定方程式について議論する。
関数 $f$ の選択は、外れ値に対するロバスト性のような望ましい性質を与える。
本研究では, バイアス補正項が消滅したブレグマン発散, 統計モデル, 関数$f$の組み合わせを明らかにする。
論文 参考訳（メタデータ） (2020-10-23T10:33:55Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳（メタデータ） (2020-05-26T16:26:17Z) - Supervised Learning: No Loss No Cry [51.07683542418145]
教師付き学習は最小化するために損失関数の仕様を必要とする。
本稿では,Kakade et al. (2011)のSLIsotronアルゴリズムを新しいレンズで再検討する。
損失を学習するための原則的な手順をいかに提供するかを示す。
論文 参考訳（メタデータ） (2020-02-10T05:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。