論文の概要: Perturbative partial moment matching and gradient-flow adaptive importance sampling transformations for Bayesian leave one out cross-validation
- arxiv url: http://arxiv.org/abs/2402.08151v3
- Date: Mon, 02 Jun 2025 14:06:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 01:42:08.826929
- Title: Perturbative partial moment matching and gradient-flow adaptive importance sampling transformations for Bayesian leave one out cross-validation
- Title（参考訳）: ベイジアン領域における摂動的部分モーメントマッチングと勾配-流順応的重要度サンプリング変換
- Authors: Joshua C Chang, Xiangting Li, Shixin Xu, Hao-Ren Yao, Julia Porcino, Carson Chow,
- Abstract要約: 我々は、$T(boldsymboltheta)=boldsymboltheta + h Q(boldsymboltheta)$ for $0hll 1,$という形の摂動変換の使用を動機付けている。
我々はロジスティック回帰と浅いReLU活性化ニューラルネットワークの場合のクローズドフォーム表現を導出する。
- 参考スコア（独自算出の注目度）: 0.9895793818721335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Importance sampling (IS) allows one to approximate leave one out (LOO) cross-validation for a Bayesian model, without refitting, by inverting the Bayesian update equation to subtract a given data point from a model posterior. For each data point, one computes expectations under the corresponding LOO posterior by weighted averaging over the full data posterior. This task sometimes requires weight stabilization in the form of adapting the posterior distribution via transformation. So long as one is successful in finding a suitable transformation, one avoids refitting. To this end, we motivate the use of bijective perturbative transformations of the form $T(\boldsymbol{\theta})=\boldsymbol{\theta} + h Q(\boldsymbol{\theta}),$ for $0<h\ll 1,$ and introduce two classes of such transformations: 1) partial moment matching and 2) gradient flow evolution. The former extends prior literature on moment-matching under the recognition that adaptation for LOO is a small perturbation on the full data posterior. The latter class of methods define transformations based on relaxing various statistical objectives: in our case the variance of the IS estimator and the KL divergence between the transformed distribution and the statistics of the LOO fold. Being model-specific, the gradient flow transformations require evaluating Jacobian determinants. While these quantities are generally readily available through auto-differentiation, we derive closed-form expressions in the case of logistic regression and shallow ReLU activated neural networks. We tested the methodology on an $n\ll p$ dataset that is known to produce unstable LOO IS weights.
- Abstract（参考訳）: 重要サンプリング(IS)は、ベイジアン更新方程式を逆転してモデル後部から所定のデータポイントを減じることで、ベイジアンモデルに対するLOOを近似的に残すことができる。
各データポイントに対して、全データ後部に対する重み付き平均化により、対応するLOO後部での期待値を算出する。
このタスクは時として、後部分布を変換によって適応する形での重み安定化を必要とする。
適切なトランスフォーメーションを見つけることができさえすれば、リフィットは避けられます。
この目的のために、私たちは、$T(\boldsymbol{\theta})=\boldsymbol{\theta} + h Q(\boldsymbol{\theta}) という形の単射摂動変換の使用を動機付け、そのような変換の2つのクラスを導入する。
1)部分的モーメントマッチングと
2) 勾配流の進化。
前者は、LOOの適応は完全なデータ後部における小さな摂動であるという認識の下で、モーメントマッチングに関する先行文献を拡張している。
後者の手法のクラスは、様々な統計的目的を緩和し、変換を定義する。この場合、IS推定器の分散と変換分布とLOO折り畳みの統計とのKLばらつきである。
モデル固有であるため、勾配流変換はヤコビ行列式の評価を必要とする。
これらの量は通常、自動微分によって容易に利用できるが、ロジスティック回帰と浅いReLU活性化ニューラルネットワークの場合、クローズドフォーム式を導出する。
この手法を不安定なLOOIS重みを生成することが知られている$n\ll p$データセットで検証した。
関連論文リスト
- von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
円値ランダム関数上の表現的および解釈可能な分布の族を探索する。
結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。
後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
論文 参考訳（メタデータ） (2024-06-19T01:57:21Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Variational Bayesian surrogate modelling with application to robust design optimisation [0.9626666671366836]
サロゲートモデルは複雑な計算モデルに対して素早く評価できる近似を提供する。
入力の不確かさと次元減少を伴う統計的代理を構築するためのベイズ推定について考察する。
コスト関数がモデル出力の平均および標準偏差の重み付け和に依存するような本質的で頑健な構造最適化問題を示す。
論文 参考訳（メタデータ） (2024-04-23T09:22:35Z) - Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。
これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
論文 参考訳（メタデータ） (2024-03-03T04:21:21Z) - Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳（メタデータ） (2023-12-29T04:15:58Z) - A probabilistic, data-driven closure model for RANS simulations with aleatoric, model uncertainty [1.8416014644193066]
本稿では,レノルズ平均Navier-Stokes (RANS) シミュレーションのためのデータ駆動閉包モデルを提案する。
パラメトリック閉包が不十分な問題領域内の領域を特定するために,完全ベイズ的定式化と余剰誘導先行法を組み合わせて提案する。
論文 参考訳（メタデータ） (2023-07-05T16:53:31Z) - Monte Carlo inference for semiparametric Bayesian regression [5.488491124945426]
本稿では、未知の変換とすべての回帰モデルパラメータの結合後部推論のための単純で汎用的で効率的な戦略を提案する。
これは(1)複数のモデルの不特定性を含む一般条件下での合同後続一貫性を提供し、(2)変換に対する効率的なモンテカルロ(マルコフ連鎖でないモンテカルロ)の推論と重要な特殊ケースに対する全てのパラメータを提供する。
論文 参考訳（メタデータ） (2023-06-08T18:42:42Z) - Refining Amortized Posterior Approximations using Gradient-Based Summary
Statistics [0.9176056742068814]
逆問題の文脈における後部分布の補正近似を改善するための反復的枠組みを提案する。
そこで我々は,本手法をスタイリング問題に適用して制御条件で検証し,改良された後部近似を各繰り返しで観察する。
論文 参考訳（メタデータ） (2023-05-15T15:47:19Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳（メタデータ） (2022-11-30T18:59:27Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳（メタデータ） (2020-07-13T03:27:45Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳（メタデータ） (2020-06-04T21:51:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。