論文の概要: Mean-field variational inference with the TAP free energy: Geometric and statistical properties in linear models

• arxiv url: http://arxiv.org/abs/2311.08442v1
• Date: Tue, 14 Nov 2023 17:35:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 18:58:28.657005
• Title: Mean-field variational inference with the TAP free energy: Geometric and statistical properties in linear models
• Title（参考訳）: TAP自由エネルギーを用いた平均場変動推定:線形モデルにおける幾何学的および統計的性質
• Authors: Michael Celentano, Zhou Fan, Licong Lin, Song Mei
• Abstract要約: 我々は,TAP自由エネルギーのランドスケープが局所最小化器の広い近傍で強く凸していることを示す。 我々は、TAP自由エネルギーが到達可能な局所最小化器の類似性を証明し、この最小化器に基づく後部推論を正しく示す。
• 参考スコア（独自算出の注目度）: 20.311583934266903
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We study mean-field variational inference in a Bayesian linear model when the sample size n is comparable to the dimension p. In high dimensions, the common approach of minimizing a Kullback-Leibler divergence from the posterior distribution, or maximizing an evidence lower bound, may deviate from the true posterior mean and underestimate posterior uncertainty. We study instead minimization of the TAP free energy, showing in a high-dimensional asymptotic framework that it has a local minimizer which provides a consistent estimate of the posterior marginals and may be used for correctly calibrated posterior inference. Geometrically, we show that the landscape of the TAP free energy is strongly convex in an extensive neighborhood of this local minimizer, which under certain general conditions can be found by an Approximate Message Passing (AMP) algorithm. We then exhibit an efficient algorithm that linearly converges to the minimizer within this local neighborhood. In settings where it is conjectured that no efficient algorithm can find this local neighborhood, we prove analogous geometric properties for a local minimizer of the TAP free energy reachable by AMP, and show that posterior inference based on this minimizer remains correctly calibrated.
• Abstract（参考訳）: サンプルサイズ n が次元 p に匹敵するとき、ベイズ線形モデルにおける平均場変動推定について検討する。 高次元では、クルバック・リーブラーの後方分布からの発散を最小化する一般的なアプローチや、証拠の下位境界の最大化は、真の後方平均と過小評価後不確実性から逸脱する可能性がある。 我々は代わりにTAP自由エネルギーの最小化について検討し、高次元の漸近的枠組みにおいて、後縁辺縁の一貫した推定値を提供する局所最小化器を持ち、正しく校正された後縁推論に使用できることを示す。 幾何学的には、この局所最小化器の広い近傍では、TAP自由エネルギーの風景が強く凸していることが示され、特定の一般的な条件下では、AMP(Adroximate Message Passing)アルゴリズムで見ることができる。 次に、この局所近傍の最小値に線形収束する効率的なアルゴリズムを示す。 効率的なアルゴリズムがこの局所近傍を発見できないと仮定された環境では、AMPにより到達可能なTAP自由エネルギーの局所最小化器の類似した幾何学的性質を証明し、この最小化器に基づく後部推論が正しく校正されていることを示す。

関連論文リスト

• Sharp detection of low-dimensional structure in probability measures via dimensional logarithmic Sobolev inequalities [0.5592394503914488]
  本稿では、所定の基準測度$mu$の摂動として、目標測度$pi$を同定し、近似する手法を提案する。 我々の主な貢献は、多元対数ソボレフ不等式(LSI)と、このアンザッツとの近似との接続を明らかにすることである。
  論文  参考訳（メタデータ） (2024-06-18T20:02:44Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Sampling with Mollified Interaction Energy Descent [57.00583139477843]
  モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する 我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-10-24T16:54:18Z)
• A Provably Efficient Model-Free Posterior Sampling Method for Episodic Reinforcement Learning [50.910152564914405]
  強化学習のための既存の後方サンプリング手法は、モデルベースであるか、線形MDPを超える最悪の理論的保証がないかによって制限される。 本稿では,理論的保証を伴うより一般的な補足的強化学習問題に適用可能な,後部サンプリングのモデルフリーな新しい定式化を提案する。
  論文  参考訳（メタデータ） (2022-08-23T12:21:01Z)
• A Dimensionality Reduction Method for Finding Least Favorable Priors with a Focus on Bregman Divergence [108.28566246421742]
  そこで本研究では,次元に明示的な有界な有限次元設定に最適化を移動させることができる次元削減法を開発した。 この問題を進展させるため、比較的大きな損失関数、すなわちブレグマンの発散によって引き起こされるベイズ的リスクに限定する。
  論文  参考訳（メタデータ） (2022-02-23T16:22:28Z)
• Neighborhood Region Smoothing Regularization for Finding Flat Minima In Deep Neural Networks [16.4654807047138]
  我々はNRS(Neighborhood Region Smoothing)と呼ばれる効果的な正規化手法を提案する。 NRSは、近似出力を得るために、重量空間の近傍領域を規則化しようとする。 NRSによって発見されたミニマは、従来の方法に比べて比較的小さなヘッセン固有値を持つことを実証的に示す。
  論文  参考訳（メタデータ） (2022-01-16T15:11:00Z)
• Keep it Tighter -- A Story on Analytical Mean Embeddings [0.6445605125467574]
  カーネル技術は、データサイエンスにおいて最も人気があり柔軟なアプローチの一つである。 平均埋め込みは、最大平均不一致(MMD)と呼ばれる分岐測度をもたらす。 本稿では,基礎となる分布の1つの平均埋め込みが解析的に利用可能である場合のMDD推定の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2021-10-15T21:29:27Z)
• Non asymptotic estimation lower bounds for LTI state space models with Cram\'er-Rao and van Trees [1.14219428942199]
  本研究では,未知の共分散のガウス励起を持つ線形時間不変(LTI)状態空間モデルに対する推定問題について検討する。 予測される推定誤差と最小二乗推定器の平均二乗推定リスクに対して非下界を与える。 その結果, 推定リスクを期待して, 既存の下限を下限に拡張し, 改善した。
  論文  参考訳（メタデータ） (2021-09-17T15:00:25Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Local convexity of the TAP free energy and AMP convergence for Z2-synchronization [17.940267599218082]
  本稿では,Z2同期化のためのTAP手法を用いて平均場変動ベイズ推定について検討する。 任意の信号強度$lambda > 1$に対して、ベイズ法則の平均付近で機能するTAP自由エネルギーのユニークな局所最小化が存在することを示す。
  論文  参考訳（メタデータ） (2021-06-21T22:08:17Z)
• Continuous Wasserstein-2 Barycenter Estimation without Minimax Optimization [94.18714844247766]
  ワッサーシュタイン・バリセンターは、最適輸送に基づく確率測度の重み付き平均の幾何学的概念を提供する。 本稿では,Wasserstein-2 バリセンタのサンプルアクセスを演算するスケーラブルなアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-02T21:01:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。