論文の概要: Gradient-flow adaptive importance sampling for Bayesian leave one out
cross-validation for sigmoidal classification models
- arxiv url: http://arxiv.org/abs/2402.08151v1
- Date: Tue, 13 Feb 2024 01:03:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 16:54:07.300974
- Title: Gradient-flow adaptive importance sampling for Bayesian leave one out
cross-validation for sigmoidal classification models
- Title(参考訳): シグモダル分類モデルにおけるベイズ的残差に対する勾配-流適応的重要度サンプリング
- Authors: Joshua C Chang, Xiangting Li, Shixin Xu, Hao-Ren Yao, Julia Porcino,
Carson Chow
- Abstract要約: 勾配流誘導適応的重要度サンプリング(IS)変換は、ベイズ分類モデルに対する点幅のモンテカルロ近似を安定させる。
我々は,ロジスティック回帰と浅部ReLU活性化人工ニューラルネットワークの場合において,ヤコビ行列式の正則式を導出する。
- 参考スコア(独自算出の注目度): 1.0485739694839669
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a set of gradient-flow-guided adaptive importance sampling (IS)
transformations to stabilize Monte-Carlo approximations of point-wise leave one
out cross-validated (LOO) predictions for Bayesian classification models. One
can leverage this methodology for assessing model generalizability by for
instance computing a LOO analogue to the AIC or computing LOO ROC/PRC curves
and derived metrics like the AUROC and AUPRC. By the calculus of variations and
gradient flow, we derive two simple nonlinear single-step transformations that
utilize gradient information to shift a model's pre-trained full-data posterior
closer to the target LOO posterior predictive distributions. In doing so, the
transformations stabilize importance weights. Because the transformations
involve the gradient of the likelihood function, the resulting Monte Carlo
integral depends on Jacobian determinants with respect to the model Hessian. We
derive closed-form exact formulae for these Jacobian determinants in the cases
of logistic regression and shallow ReLU-activated artificial neural networks,
and provide a simple approximation that sidesteps the need to compute full
Hessian matrices and their spectra. We test the methodology on an $n\ll p$
dataset that is known to produce unstable LOO IS weights.
- Abstract(参考訳): 本稿では,ベイズ分類モデルに対するモンテカルロ近似のモンテカルロ近似を安定化するために,勾配-フロー誘導適応重要度サンプリング(is)変換を導入する。
例えば、AICや計算LOC/PRC曲線やAUROCやAUPRCのような派生メトリクスのLOOアナログを計算することで、モデル一般化可能性を評価するためにこの方法論を利用することができる。
変分と勾配流の計算により、勾配情報を利用した2つの単純な非線形単段変換を導出し、モデルの事前訓練された全データ後段を目標のloo後段予測分布に近づける。
これにより、変換は重み付けを安定させる。
変換は確率関数の勾配を含むので、結果のモンテカルロ積分はモデルヘッセンに関してヤコビ行列式に依存する。
ロジスティック回帰や浅いrelu活性化型人工ニューラルネットワークの場合には、これらのヤコビ行列式の閉形式式を導出し、完全なヘッセン行列とそのスペクトルを計算する必要性を回避する単純な近似を与える。
この手法を不安定なLOOIS重みを生成することが知られている$n\ll p$データセット上で検証する。
関連論文リスト
- Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。
これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
論文 参考訳(メタデータ) (2024-03-03T04:21:21Z) - Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳(メタデータ) (2023-12-29T04:15:58Z) - Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。
この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
論文 参考訳(メタデータ) (2023-07-06T15:19:53Z) - A probabilistic, data-driven closure model for RANS simulations with
aleatoric, model uncertainty [3.8073142980733]
本稿では,レノルズ平均Navier-Stokes (RANS) シミュレーションのためのデータ駆動閉包モデルを提案する。
パラメトリック閉包が不十分な問題領域内の領域を特定するために,完全ベイズ的定式化と余剰誘導先行法を組み合わせて提案する。
論文 参考訳(メタデータ) (2023-07-05T16:53:31Z) - Object based Bayesian full-waveform inversion for shear elastography [0.0]
組織中の異常画像のせん断エラストグラフィーにおける不確かさを定量化する計算手法を開発した。
パラメータフィールドの後方確率は異常の幾何とそのせん断率を表わす。
滑らかで不規則な形状の合成2次元試験に対するアプローチを実証する。
論文 参考訳(メタデータ) (2023-05-11T08:25:25Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳(メタデータ) (2022-11-30T18:59:27Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳(メタデータ) (2021-11-15T09:08:27Z) - Variational Inference with NoFAS: Normalizing Flow with Adaptive
Surrogate for Computationally Expensive Models [7.217783736464403]
マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。
変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。
本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
論文 参考訳(メタデータ) (2021-08-28T14:31:45Z) - An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。
我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
論文 参考訳(メタデータ) (2020-10-03T16:22:15Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳(メタデータ) (2020-07-13T03:27:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。