論文の概要: Learning to Estimate Without Bias
- arxiv url: http://arxiv.org/abs/2110.12403v1
- Date: Sun, 24 Oct 2021 10:23:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-27 13:02:48.584598
- Title: Learning to Estimate Without Bias
- Title(参考訳): バイアスのない見積もりを学ぶ
- Authors: Tzvi Diskin, Yonina C. Eldar and Ami Wiesel
- Abstract要約: 本稿では、標準平均二乗誤差(MSE)損失に二乗バイアス項を加えるバイアス拘束型推定器(BCE)を提案する。
BCE が最小変数不偏推定器 (MVUE) に収束することを証明する。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
- 参考スコア(独自算出の注目度): 80.05441565830726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the use of deep learning for parameter estimation. We propose
Bias Constrained Estimators (BCE) that add a squared bias term to the standard
mean squared error (MSE) loss. The main motivation to BCE is learning to
estimate deterministic unknown parameters with no Bayesian prior. Unlike
standard learning based estimators that are optimal on average, we prove that
BCEs converge to Minimum Variance Unbiased Estimators (MVUEs). We derive closed
form solutions to linear BCEs. These provide a flexible bridge between linear
regrssion and the least squares method. In non-linear settings, we demonstrate
that BCEs perform similarly to MVUEs even when the latter are computationally
intractable. A second motivation to BCE is in applications where multiple
estimates of the same unknown are averaged for improved performance. Examples
include distributed sensor networks and data augmentation in test-time. In such
applications, unbiasedness is a necessary condition for asymptotic consistency.
- Abstract(参考訳): パラメータ推定におけるディープラーニングの利用を検討する。
本稿では、標準平均二乗誤差(MSE)損失に二乗バイアス項を加えるバイアス拘束型推定器(BCE)を提案する。
BCEの主な動機は、ベイズ以前の決定論的未知のパラメータを推定することである。
平均的に最適である標準学習ベース推定器とは異なり、BCEは最小分散不偏推定器(MVUE)に収束する。
閉形式解を線形BCEに導出する。
これらは線形回帰と最小二乗法の間の柔軟なブリッジを提供する。
非線形設定では,BCE が MVUE とよく似た性能を示す。
BCEの第二の動機は、同じ未知の複数の推定値を平均化してパフォーマンスを向上させるアプリケーションである。
例えば、分散センサーネットワークやテスト時のデータ拡張がある。
そのような応用において、不偏性は漸近的一貫性に必要な条件である。
関連論文リスト
- Error Reduction from Stacked Regressions [14.226205980875262]
積み重ね回帰は、予測精度を高めるために異なる回帰推定器の線形結合を形成するアンサンブル手法である。
本稿では,非負性制約による人口リスクの推定を最小化することにより,これらの重みを類似的に学習する。
縮小効果により、結果として生じる累積推定器は、最も優れた単一推定器よりも人口リスクが厳密に小さい。
論文 参考訳(メタデータ) (2023-09-18T15:42:12Z) - Scalable method for Bayesian experimental design without integrating
over posterior distribution [0.0]
実験問題のA-最適ベイズ設計における計算効率について検討する。
A-最適性はベイズの実験設計に広く用いられ、容易に解釈できる基準である。
本研究は, A-Optimal 実験設計における新しい可能性のないアプローチを提案する。
論文 参考訳(メタデータ) (2023-06-30T12:40:43Z) - Variational Linearized Laplace Approximation for Bayesian Deep Learning [1.77513002450736]
変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。
本手法はGPの2つのRKHSに基づいており,元のDNNの出力予測平均として維持される。
提案手法は,Nystr"om近似に基づく加速LLA(ELLA)と,サンプル列最適化原理を用いた他のLA変種を比較した。
論文 参考訳(メタデータ) (2023-02-24T10:32:30Z) - Tuned Regularized Estimators for Linear Regression via Covariance
Fitting [17.46329281993348]
線形モデルに対する調律正規化パラメータ推定器の探索問題を考える。
3つの既知の最適線形推定器がより広いクラスの推定器に属することを示す。
得られた推定器のクラスは、既知の正規化推定器のチューニングバージョンを得ることを示す。
論文 参考訳(メタデータ) (2022-01-21T16:08:08Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳(メタデータ) (2021-07-05T21:05:11Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient
Estimator [93.05919133288161]
一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。
これは平均二乗誤差を確実に減少させる。
これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
論文 参考訳(メタデータ) (2020-10-09T22:54:38Z) - Learning Minimax Estimators via Online Learning [55.92459567732491]
確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。
混合ケースナッシュ平衡を求めるアルゴリズムを構築した。
論文 参考訳(メタデータ) (2020-06-19T22:49:42Z) - On Low-rank Trace Regression under General Sampling Distribution [9.699586426043885]
クロスバリデード推定器は一般仮定でほぼ最適誤差境界を満たすことを示す。
また, クロスバリデーション推定器はパラメータ選択理論に着想を得た手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2019-04-18T02:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。