論文の概要: On lower bounds for the bias-variance trade-off
- arxiv url: http://arxiv.org/abs/2006.00278v4
- Date: Mon, 20 Mar 2023 09:04:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 08:52:12.963501
- Title: On lower bounds for the bias-variance trade-off
- Title（参考訳）: バイアス分散トレードオフに対する下限について
- Authors: Alexis Derumigny and Johannes Schmidt-Hieber
- Abstract要約: 高次元統計モデルでは、速度-最適推定器は二乗バイアスと分散のバランスをとるのが一般的である。
本稿では, 既定境界よりも小さい偏差を持つ任意の推定器の分散に関する下限を求める一般戦略を提案する。
これは、バイアス分散トレードオフがどの程度避けられないかを示し、従わないメソッドのパフォーマンスの損失を定量化することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is a common phenomenon that for high-dimensional and nonparametric
statistical models, rate-optimal estimators balance squared bias and variance.
Although this balancing is widely observed, little is known whether methods
exist that could avoid the trade-off between bias and variance. We propose a
general strategy to obtain lower bounds on the variance of any estimator with
bias smaller than a prespecified bound. This shows to which extent the
bias-variance trade-off is unavoidable and allows to quantify the loss of
performance for methods that do not obey it. The approach is based on a number
of abstract lower bounds for the variance involving the change of expectation
with respect to different probability measures as well as information measures
such as the Kullback-Leibler or $\chi^2$-divergence. In a second part of the
article, the abstract lower bounds are applied to several statistical models
including the Gaussian white noise model, a boundary estimation problem, the
Gaussian sequence model and the high-dimensional linear regression model. For
these specific statistical applications, different types of bias-variance
trade-offs occur that vary considerably in their strength. For the trade-off
between integrated squared bias and integrated variance in the Gaussian white
noise model, we propose to combine the general strategy for lower bounds with a
reduction technique. This allows us to reduce the original problem to a lower
bound on the bias-variance trade-off for estimators with additional symmetry
properties in a simpler statistical model. In the Gaussian sequence model,
different phase transitions of the bias-variance trade-off occur. Although
there is a non-trivial interplay between bias and variance, the rate of the
squared bias and the variance do not have to be balanced in order to achieve
the minimax estimation rate.
- Abstract（参考訳）: 高次元および非パラメトリックな統計モデルでは、レート・オプティマイタは二乗バイアスと分散のバランスをとる。
このバランスは広く観察されているが、バイアスと分散の間のトレードオフを避ける方法が存在するかどうかは不明である。
本稿では, 既定境界よりも小さい偏差を持つ任意の推定器の分散に関する下限を求める一般戦略を提案する。
これはバイアス分散トレードオフがどの程度避けられないかを示し、従わないメソッドのパフォーマンスの損失を定量化することができる。
このアプローチは、異なる確率測度に対する期待の変化や、kullback-leibler や $\chi^2$-divergence といった情報測度を含む分散のいくつかの抽象的な下限に基づいている。
論文の第2部では、抽象下限をガウスのホワイトノイズモデル、境界推定問題、ガウス列モデル、高次元線形回帰モデルなどいくつかの統計モデルに適用する。
これらの特定の統計応用では、様々な種類のバイアス分散トレードオフが生じる。
ガウス型白色雑音モデルにおける統合二乗バイアスと積分分散とのトレードオフについて,低域の一般戦略と還元手法を組み合わせることを提案する。
これにより、より単純な統計モデルにおいて、追加の対称性特性を持つ推定器に対するバイアス分散トレードオフの低い境界に元の問題を還元することができる。
ガウス列モデルでは、バイアス分散トレードオフの異なる相転移が起こる。
バイアスと分散の間には非自明な相互作用があるが、最小値推定率を達成するために二乗バイアスと分散の比率を均衡させる必要はない。
関連論文リスト
- Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep
Models [51.66015254740692]
深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。
我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
論文 参考訳（メタデータ） (2023-10-13T17:06:34Z) - Statistical Estimation Under Distribution Shift: Wasserstein
Perturbations and Minimax Theory [24.540342159350015]
我々はWasserstein分布シフトに注目し、各データポイントがわずかに摂動する可能性がある。
データポイント間の独立あるいは協調的な関節シフトである摂動について検討する。
位置推定,線形回帰,非パラメトリック密度推定など,いくつかの重要な統計問題を解析する。
論文 参考訳（メタデータ） (2023-08-03T16:19:40Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳（メタデータ） (2022-07-14T17:08:25Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳（メタデータ） (2022-04-07T17:59:19Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Uncertainty Principles in Risk-Aware Statistical Estimation [4.721069729610892]
リスク対応統計推定のための新しい不確実性原理を提案する。
平均二乗誤差(mse$)とリスクの間の本質的にのトレードオフを効果的に定量化する。
論文 参考訳（メタデータ） (2021-04-29T12:06:53Z) - Reducing the Variance of Variational Estimates of Mutual Information by
Limiting the Critic's Hypothesis Space to RKHS [0.0]
相互情報(英: Mutual Information、MI)は、2つの確率変数間の依存性に関する情報理論の尺度である。
近年の手法では、未知密度比を近似するニューラルネットワークとしてパラメトリック確率分布や批判が実現されている。
我々は、高分散特性は、批評家の仮説空間の制御不能な複雑さに起因すると論じる。
論文 参考訳（メタデータ） (2020-11-17T14:32:48Z) - Memorizing without overfitting: Bias, variance, and interpolation in
over-parameterized models [0.0]
バイアス分散トレードオフは教師あり学習における中心的な概念である。
現代のDeep Learningメソッドは、最先端のパフォーマンスを達成するために、このドグマを浮かび上がらせる。
論文 参考訳（メタデータ） (2020-10-26T22:31:04Z) - Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient
Estimator [93.05919133288161]
一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。
これは平均二乗誤差を確実に減少させる。
これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
論文 参考訳（メタデータ） (2020-10-09T22:54:38Z) - Rethinking Bias-Variance Trade-off for Generalization of Neural Networks [40.04927952870877]
ニューラルネットワークのバイアスとばらつきを測定することで、これに対する簡単な説明を提供する。
分散一様性は、考慮したすべてのモデルに対して頑健に起こる。
より深いモデルはバイアスを減らし、分布内および分布外データのばらつきを増加させる。
論文 参考訳（メタデータ） (2020-02-26T07:21:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。