論文の概要: Bayes and Biased Estimators Without Hyper-parameter Estimation: Comparable Performance to the Empirical-Bayes-Based Regularized Estimator

• arxiv url: http://arxiv.org/abs/2503.11854v1
• Date: Fri, 14 Mar 2025 20:33:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:33:35.784640
• Title: Bayes and Biased Estimators Without Hyper-parameter Estimation: Comparable Performance to the Empirical-Bayes-Based Regularized Estimator
• Title（参考訳）: ハイパーパラメータ推定のないベイズとバイアス推定器:経験的ベイズに基づく正規化推定器と比較可能な性能
• Authors: Yue Ju, Bo Wahlberg, Håkan Hjalmarsson,
• Abstract要約: 一般化ベイズ推定器の族と閉形式偏り推定器の族を開発する。 我々は,これらの新しい推定器の性能が,経験的ベイズに基づく正規化推定器に匹敵することを示す数値シミュレーションを行う。
• 参考スコア（独自算出の注目度）: 1.949912057689623
• License:
• Abstract: Regularized system identification has become a significant complement to more classical system identification. It has been numerically shown that kernel-based regularized estimators often perform better than the maximum likelihood estimator in terms of minimizing mean squared error (MSE). However, regularized estimators often require hyper-parameter estimation. This paper focuses on ridge regression and the regularized estimator by employing the empirical Bayes hyper-parameter estimator. We utilize the excess MSE to quantify the MSE difference between the empirical-Bayes-based regularized estimator and the maximum likelihood estimator for large sample sizes. We then exploit the excess MSE expressions to develop both a family of generalized Bayes estimators and a family of closed-form biased estimators. They have the same excess MSE as the empirical-Bayes-based regularized estimator but eliminate the need for hyper-parameter estimation. Moreover, we conduct numerical simulations to show that the performance of these new estimators is comparable to the empirical-Bayes-based regularized estimator, while computationally, they are more efficient.
• Abstract（参考訳）: 正規化されたシステム識別は、より古典的なシステム識別の重要な補完となっている。 カーネルベースの正規化推定器は平均二乗誤差 (MSE) の最小化において最大可能性推定器よりも優れた性能を示すことが数値的に示されている。 しかし、正規化推定器は、しばしば超パラメータ推定を必要とする。 本稿では,経験的ベイズハイパーパラメータ推定器を用いて,尾根回帰と正規化推定器に焦点を当てた。 我々は余剰MSEを用いて、経験的ベイズに基づく正規化推定器と大規模なサンプルサイズに対する最大極大推定器とのMSE差を定量化する。 次に、余剰な MSE 表現を利用して一般化ベイズ推定器の族と閉形式偏り推定器の族の両方を開発する。 彼らは経験的ベイズに基づく正規化推定器と同じ過大なMSEを持っているが、超パラメータ推定の必要性を排除している。 さらに、これらの新しい推定器の性能は経験的ベイズに基づく正規化推定器に匹敵するが、計算上はより効率的であることを示すために数値シミュレーションを行う。

関連論文リスト

• In-Context Parametric Inference: Point or Distribution Estimators? [66.22308335324239]
  償却点推定器は一般に後部推論より優れているが、後者は低次元問題では競争力がある。 実験の結果, 償却点推定器は一般に後部推定より優れているが, 後者は低次元問題では競争力があることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T10:00:24Z)
• Precise Model Benchmarking with Only a Few Observations [6.092112060364272]
  本稿では,各サブグループの直接推定と回帰推定を個別にバランスする経験的ベイズ推定器を提案する。 EBは、直接的および回帰的アプローチと比較して、LCM性能のより正確な推定を一貫して提供する。
  論文  参考訳（メタデータ） (2024-10-07T17:26:31Z)
• Leveraging Variational Autoencoders for Parameterized MMSE Estimation [10.141454378473972]
  条件付き線形最小二乗誤差推定器のパラメータ化のための変分オートエンコーダに基づくフレームワークを提案する。 導出した推定器は、推定問題の生成前として変分オートエンコーダを用いて最小平均2乗誤差推定器を近似する。 提案手法と最小平均二乗誤差推定器の差分を限定して厳密な解析を行う。
  論文  参考訳（メタデータ） (2023-07-11T15:41:34Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Adversarial Estimators [0.0]
  我々は、敵推定器(A推定器)の理論を開発する。 そこで本研究では,A推定器の収束率をポイントワイドおよび部分同定の両方で特徴付ける。 我々の理論は、ニューラルネットワークM-推定器の一般関数の正規性ももたらしている。
  論文  参考訳（メタデータ） (2022-04-22T04:39:44Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Expected Validation Performance and Estimation of a Random Variable's Maximum [48.83713377993604]
  予測された検証性能に対する3つの統計的推定器を解析する。 偏りのない推定器は最も分散度が高く、最小分散度を持つ推定器は最大のバイアスを持つ。 2つの偏りのある推定器は、最も少ない誤った結論につながる。
  論文  参考訳（メタデータ） (2021-10-01T18:48:47Z)
• Nonparametric Estimation of the Fisher Information and Its Applications [82.00720226775964]
  本稿では,大きさn$のランダムサンプルからフィッシャー情報の位置推定の問題について考察する。 Bhattacharyaにより提案された推定器を再検討し、収束率の向上を導出する。 クリッピング推定器と呼ばれる新しい推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-07T17:21:56Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)
• Efficient Debiased Evidence Estimation by Multilevel Monte Carlo Sampling [0.0]
  ベイズ推論に基づくマルチレベルモンテカルロ法(MLMC)の最適化手法を提案する。 計算結果から,従来の推定値と比較すると,かなりの計算量の削減が確認できた。
  論文  参考訳（メタデータ） (2020-01-14T09:14:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。