論文の概要: Understanding the bias-variance tradeoff of Bregman divergences

• arxiv url: http://arxiv.org/abs/2202.04167v2
• Date: Thu, 10 Feb 2022 02:02:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-11 14:04:34.408343
• Title: Understanding the bias-variance tradeoff of Bregman divergences
• Title（参考訳）: bregman divergencesのバイアス分散トレードオフを理解する
• Authors: Ben Adlam, Neha Gupta, Zelda Mariet, Jamie Smith
• Abstract要約: 本稿では,任意のブレグマン発散損失関数に対するバイアス分散トレードオフを一般化したPfau (2013) の業績に基づく。 ラベルと同様、中心予測は確率変数の平均と解釈でき、損失関数自身で定義される双対空間で平均が動作することを示す。
• 参考スコア（独自算出の注目度）: 13.006468721874372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper builds upon the work of Pfau (2013), which generalized the bias variance tradeoff to any Bregman divergence loss function. Pfau (2013) showed that for Bregman divergences, the bias and variances are defined with respect to a central label, defined as the mean of the label variable, and a central prediction, of a more complex form. We show that, similarly to the label, the central prediction can be interpreted as the mean of a random variable, where the mean operates in a dual space defined by the loss function itself. Viewing the bias-variance tradeoff through operations taken in dual space, we subsequently derive several results of interest. In particular, (a) the variance terms satisfy a generalized law of total variance; (b) if a source of randomness cannot be controlled, its contribution to the bias and variance has a closed form; (c) there exist natural ensembling operations in the label and prediction spaces which reduce the variance and do not affect the bias.
• Abstract（参考訳）: 本稿では,任意のブレグマン発散損失関数に対するバイアス分散トレードオフを一般化したPfau (2013) の業績に基づく。 Pfau (2013) は、ブレグマンの発散について、バイアスと分散はラベル変数の平均として定義される中央ラベルとより複雑な形式の中央予測に関して定義されることを示した。 ラベルと同様に、中央予測は確率変数の平均として解釈され、平均は損失関数自身によって定義される双対空間で作用する。 双対空間で取られた操作を通してバイアス分散のトレードオフを観察すると、いくつかの利害関係の結果が導かれる。 特に a) 分散項は,全分散の一般化された法則を満たす。 b) ランダム性の源が制御できない場合,バイアス及び分散への寄与は,閉じた形式を有する。 (c)ラベル空間と予測空間には、ばらつきを低減しバイアスに影響を与えない自然なセンスリング演算が存在する。

関連論文リスト

• Unbiased Estimating Equation on Inverse Divergence and Its Conditions [0.10742675209112622]
  本稿では、逆発散(英語版)と呼ばれる相互関数によって定義されるブレグマン発散(英語版)に焦点を当てる。 単調に増大する関数 $f$ と逆発散によって定義される損失関数に対して、推定方程式が偏りのない統計モデルと関数 $f$ の条件を明確にする。
  論文  参考訳（メタデータ） (2024-04-25T11:22:48Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
  深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。 我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
  論文  参考訳（メタデータ） (2023-10-13T17:06:34Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Invariance Principle Meets Information Bottleneck for Out-of-Distribution Generalization [77.24152933825238]
  線形分類タスクには分布シフトの強い制限が必要であり、そうでなければ OOD の一般化は不可能であることを示す。 不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。
  論文  参考訳（メタデータ） (2021-06-11T20:42:27Z)
• Understanding Generalization in Adversarial Training via the Bias-Variance Decomposition [39.108491135488286]
  テストのリスクをバイアスと分散コンポーネントに分解します。 バイアスは摂動の大きさとともに単調に増加し、リスクの主要な用語であることがわかった。 一般化ギャップに対する一般的な説明は、代わりに分散が単調であることを予測している。
  論文  参考訳（メタデータ） (2021-03-17T23:30:00Z)
• Latent Causal Invariant Model [128.7508609492542]
  現在の教師付き学習は、データ適合プロセス中に急激な相関を学習することができる。 因果予測を求める潜在因果不変モデル(LaCIM)を提案する。
  論文  参考訳（メタデータ） (2020-11-04T10:00:27Z)
• Unbiased Estimation Equation under $f$-Separable Bregman Distortion Measures [0.3553493344868413]
  単調に増大する関数$f$とブレグマン発散を用いた対象関数のクラスにおける非バイアス推定方程式について議論する。 関数 $f$ の選択は、外れ値に対するロバスト性のような望ましい性質を与える。 本研究では, バイアス補正項が消滅したブレグマン発散, 統計モデル, 関数$f$の組み合わせを明らかにする。
  論文  参考訳（メタデータ） (2020-10-23T10:33:55Z)
• On lower bounds for the bias-variance trade-off [0.0]
  高次元統計モデルでは、速度-最適推定器は二乗バイアスと分散のバランスをとるのが一般的である。 本稿では, 既定境界よりも小さい偏差を持つ任意の推定器の分散に関する下限を求める一般戦略を提案する。 これは、バイアス分散トレードオフがどの程度避けられないかを示し、従わないメソッドのパフォーマンスの損失を定量化することができる。
  論文  参考訳（メタデータ） (2020-05-30T14:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。