論文の概要: Variational Inference in high-dimensional linear regression
- arxiv url: http://arxiv.org/abs/2104.12232v1
- Date: Sun, 25 Apr 2021 19:09:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-27 14:23:21.218108
- Title: Variational Inference in high-dimensional linear regression
- Title（参考訳）: 高次元線形回帰における変分推論
- Authors: Sumit Mukherjee and Subhabrata Sen
- Abstract要約: 高次元ベイズ線形回帰を積優先で研究する。
後部分布のログ正規化定数に対するナイーブ平均場近似の先導的正しさの十分な条件を提供します。
- 参考スコア（独自算出の注目度）: 5.065420156125522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study high-dimensional Bayesian linear regression with product priors.
Using the nascent theory of non-linear large deviations (Chatterjee and
Dembo,2016), we derive sufficient conditions for the leading-order correctness
of the naive mean-field approximation to the log-normalizing constant of the
posterior distribution. Subsequently, assuming a true linear model for the
observed data, we derive a limiting infinite dimensional variational formula
for the log normalizing constant of the posterior. Furthermore, we establish
that under an additional "separation" condition, the variational problem has a
unique optimizer, and this optimizer governs the probabilistic properties of
the posterior distribution. We provide intuitive sufficient conditions for the
validity of this "separation" condition. Finally, we illustrate our results on
concrete examples with specific design matrices.
- Abstract（参考訳）: 高次元ベイズ線形回帰を積優先で研究する。
非線形大偏差の新生理論(chatterjee and dembo,2016)を用いて,後方分布の対数正規化定数に対するナイーブ平均場近似の先行的正しさについて十分条件を導出する。
その後、観測データに対する真の線形モデルと仮定すると、後部の対数正規化定数に対する無限次元の変動式を導出する。
さらに,追加の「分離」条件下では,変分問題は一意なオプティマイザを持ち,このオプティマイザは後方分布の確率的性質を制御する。
この「分離」条件の有効性について,直感的に十分な条件を提供する。
最後に,具体的設計行列を用いた具体例について述べる。
関連論文リスト
- Quasi-Bayes meets Vines [2.3124143670964448]
我々は、スクラーの定理を用いて、準ベイズ予想を高次元に拡張する別の方法を提案する。
提案した準ベイジアンVine (QB-Vine) は完全に非パラメトリックな密度推定器であることを示す。
論文 参考訳（メタデータ） (2024-06-18T16:31:02Z) - Flat Minima in Linear Estimation and an Extended Gauss Markov Theorem [0.0]
我々は、核とスペクトルのノルムの場合の最適推定器の単純で明示的な公式を導出する。
我々は、複数のランダム行列アンサンブルにおける一般化誤差を解析的に導出し、リッジ回帰との比較を行った。
論文 参考訳（メタデータ） (2023-11-18T14:45:06Z) - Bayesian Renormalization [68.8204255655161]
ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチを提案する。
ベイズ再正規化の主な洞察は、フィッシャー計量が創発的RGスケールの役割を担う相関長を定義することである。
本研究では,ベイズ正規化方式が既存のデータ圧縮法やデータ生成法とどのように関係しているかを考察する。
論文 参考訳（メタデータ） (2023-05-17T18:00:28Z) - High-dimensional analysis of double descent for linear regression with
random projections [0.0]
ランダムな投影数が異なる線形回帰問題を考察し、固定された予測問題に対する二重降下曲線を確実に示す。
まず、リッジ回帰推定器を考察し、非パラメトリック統計学の古典的概念を用いて先行結果を再解釈する。
次に、最小ノルム最小二乗の一般化性能(バイアスと分散の観点から)の同値をランダムな射影に適合させ、二重降下現象の単純な表現を与える。
論文 参考訳（メタデータ） (2023-03-02T15:58:09Z) - Amortized backward variational inference in nonlinear state-space models [0.0]
変分推論を用いた一般状態空間モデルにおける状態推定の問題点を考察する。
仮定を混合することにより、加法的状態汎関数の期待の変動近似が、観測数において最も直線的に増加する誤差を誘導することを初めて確立した。
論文 参考訳（メタデータ） (2022-06-01T08:35:54Z) - Time varying regression with hidden linear dynamics [74.9914602730208]
線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。
反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
論文 参考訳（メタデータ） (2021-12-29T23:37:06Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳（メタデータ） (2021-07-05T21:05:11Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Asymptotic Errors for Teacher-Student Convex Generalized Linear Models
(or : How to Prove Kabashima's Replica Formula) [23.15629681360836]
凸一般化線形モデルの再構成性能に関する解析式を検証した。
解析的継続を行えば、結果を凸(非強直)問題に拡張できることを示す。
主流学習法に関する数値的な例で,本主張を述べる。
論文 参考訳（メタデータ） (2020-06-11T16:26:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。