論文の概要: Asymptotics of Bayesian Uncertainty Estimation in Random Features Regression

• arxiv url: http://arxiv.org/abs/2306.03783v1
• Date: Tue, 6 Jun 2023 15:36:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 14:45:24.685025
• Title: Asymptotics of Bayesian Uncertainty Estimation in Random Features Regression
• Title（参考訳）: ランダム特徴回帰におけるベイズ不確かさ推定の漸近
• Authors: Youngsoo Baek, Samuel I. Berchuck, Sayan Mukherjee
• Abstract要約: 本研究では, 後方予測分布(ベイジアンモデル平均)のばらつきに着目し, MAP推定器の危険度と比較する。 また、サンプルの数がモデル次元のどの定数倍数よりも速く成長する場合にも一致する。
• 参考スコア（独自算出の注目度）: 1.1279808969568252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we compare and contrast the behavior of the posterior predictive distribution to the risk of the maximum a posteriori estimator for the random features regression model in the overparameterized regime. We will focus on the variance of the posterior predictive distribution (Bayesian model average) and compare its asymptotics to that of the risk of the MAP estimator. In the regime where the model dimensions grow faster than any constant multiple of the number of samples, asymptotic agreement between these two quantities is governed by the phase transition in the signal-to-noise ratio. They also asymptotically agree with each other when the number of samples grow faster than any constant multiple of model dimensions. Numerical simulations illustrate finer distributional properties of the two quantities for finite dimensions. We conjecture they have Gaussian fluctuations and exhibit similar properties as found by previous authors in a Gaussian sequence model, which is of independent theoretical interest.
• Abstract（参考訳）: 本稿では, 過パラメータ化状態における乱特徴回帰モデルに対して, 後部予測分布の挙動と, 最大後部推定器のリスクとを比較し, 比較する。 我々は,後方予測分布(ベイズモデル平均値)のばらつきに着目し,その漸近性とマップ推定器のリスクの比較を行う。 モデル次元がサンプル数のどの定数倍よりも速く成長する体制では、これらの2つの量間の漸近的一致は信号対雑音比の位相遷移によって制御される。 また、サンプルの数がモデル次元の任意の定数倍よりも速く成長する場合にも漸近的に一致する。 数値シミュレーションは、有限次元における2つの量のより細かい分布特性を示す。 ガウス的揺らぎを持つと推測し、それ以前の著者が独立した理論的な関心を持つガウス列モデルで見出した同様の性質を示す。

関連論文リスト

• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Stochastic Differential Equations models for Least-Squares Stochastic Gradient Descent [6.3151583550712065]
  グラディエントDescent(SGD)の連続時間モデルのダイナミクスについて検討する。 我々は,SGDをモデル化する退化微分方程式(squareSDEs)を,トレーニング損失(有限サンプル)と集団1(オンライン設定)のいずれにおいても解析する。
  論文  参考訳（メタデータ） (2024-07-02T14:52:21Z)
• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Variational excess risk bound for general state space models [0.0]
  一般状態空間モデルに対する変分オートエンコーダ(VAE)について検討する。 本稿では, 変動分布の逆因数分解について検討し, VAEに関連する余剰リスクを解析する。
  論文  参考訳（メタデータ） (2023-12-15T08:41:07Z)
• Conformal inference for regression on Riemannian Manifolds [49.7719149179179]
  回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、Xで表される共変数がユークリッド空間にあるときに検討する。 我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
  論文  参考訳（メタデータ） (2023-10-12T10:56:25Z)
• Modeling the space-time correlation of pulsed twin beams [68.8204255655161]
  パラメトリックダウンコンバージョンによって生成される絡み合ったツインビームは、画像指向アプリケーションで好まれるソースである。 本研究では,時間消費数値シミュレーションと非現実的な平面波ポンプ理論のギャップを埋めることを目的とした半解析モデルを提案する。
  論文  参考訳（メタデータ） (2023-01-18T11:29:49Z)
• Instance-Optimal Compressed Sensing via Posterior Sampling [101.43899352984774]
  後部サンプリング推定器がほぼ最適回復保証を達成できることを示す。 本稿では,Langevin dynamics を用いた深部生成前駆体の後方サンプリング推定器を実装し,MAP よりも精度の高い推定値が得られることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-06-21T22:51:56Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Non-asymptotic Optimal Prediction Error for Growing-dimensional Partially Functional Linear Models [0.951828574518325]
  予測誤差の最大値と最大値の上限を示す。 過剰な予測リスクの正確な上限は、非漸近的な形で示される。 モデルのKulback-Leibler分散の正則性仮定の下で、非漸近ミニマックス下界を導出する。
  論文  参考訳（メタデータ） (2020-09-10T08:49:32Z)
• Inference on the Change Point for High Dimensional Dynamic Graphical Models [9.74000189600846]
  動的に進化するグラフィカルモデルに対する変化点パラメータの推定器を開発する。 グラフィカルモデルパラメータのプラグイン推定に対する十分な適応性を保持する。 RNA配列のデータと若年者および高齢者間の変化を図示する。
  論文  参考訳（メタデータ） (2020-05-19T19:15:32Z)
• Posterior Ratio Estimation of Latent Variables [14.619879849533662]
  いくつかのアプリケーションでは、観測から無視される確率変数の分布を比較したい。 潜在変数の2つの後続確率密度関数の比を推定する問題について検討する。
  論文  参考訳（メタデータ） (2020-02-15T16:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。