論文の概要: Onsager-Machlup Posterior Transport for Deep Gaussian Processes
- arxiv url: http://arxiv.org/abs/2605.23434v1
- Date: Fri, 22 May 2026 09:45:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.295504
- Title: Onsager-Machlup Posterior Transport for Deep Gaussian Processes
- Title（参考訳）: 深いガウス過程におけるオンサガー・マクラップ後部輸送
- Authors: Jian Xu, Delu Zeng, John Paisley, Qibin Zhao,
- Abstract要約: textbfOM-Path(正式にはFBVI-bridge-Path)は、DBVIのDoob-bridged forward SDEに適用されたSongの確率フローODEを使用する。
同じブリッジバックボーン上の2つの厳密なパス空間ELBO(FFJORD log-det; OM-regularized CNF)がアブレーションとして導出される。
OM-Pathは2つの大きなデータセットに対して統計的に有意な勝利をもたらす。
- 参考スコア（独自算出の注目度）: 31.082191748525137
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Approximate inference over inducing variables is the central computational bottleneck of Deep Gaussian Processes (DGPs). Existing methods either fit an explicit density $q_φ(\bU)$ by an ELBO (DSVI, IPVI, DDVI, DBVI) or sample by MCMC (SGHMC). We instead frame DGP inference as \emph{posterior transport}: learn a deterministic sampler that maps a tractable reference measure to posterior-relevant inducing variables, regularised by a path prior derived from the Doob-bridged reference diffusion. Our realisation, \textbf{OM-Path} (formally FBVI-bridge-Path), uses Song's probability-flow ODE applied to DBVI's Doob-bridged forward SDE; the reference drift is closed-form from the bridge marginal coefficients (no score matching) and the path regulariser is the \textbf{Onsager--Machlup action}. At the finite-$ε$ value used at training, the objective is the negative log unnormalised density of a tempered Doob-bridge path posterior, and Theorem 1 identifies it with the same posterior's small-noise MAP path via the Freidlin--Wentzell LDP. Two strict path-space ELBO variants on the same bridge backbone (FFJORD log-det; OM-regularised CNF) are derived as ablations. Under a matched-seed paired Wilcoxon test against DBVI on seven UCI regression benchmarks, OM-Path delivers statistically significant wins on the two largest datasets (\textit{power}: $p\!=\!0.014$, NLL $\mathbf{0.012}$ matching the DSVI baseline of $0.017$; \textit{protein}: $p\!=\!0.002$, RMSE $\mathbf{0.716}$ vs.\ $0.764$, NLL $\mathbf{1.086}$ vs.\ $1.149$), statistical ties on \textit{yacht} / \textit{qsar}, and concedes \textit{boston} / \textit{energy} / \textit{concrete} to DBVI on small-$N$ noisy data. The strict-ELBO variants do not clear DBVI on any UCI metric: in this regime, reducing the variance of the path objective dominates exact-density tracking.
- Abstract（参考訳）: 変数の誘導に対する近似推論は、ディープガウス過程(DGP)の中心的な計算ボトルネックである。
既存の方法は、ELBO (DSVI, IPVI, DDVI, DBVI) による明示密度 $q_φ(\bU)$ または MCMC (SGHMC) によるサンプルに適合する。
我々は代わりに DGP の推論を \emph{posterior transport} としてフレーム化し、Doob-bridged 参照拡散から導出される経路によって正規化される、抽出可能な参照測度を後関連帰納変数にマッピングする決定論的サンプリングを学習する。
我々の実現である \textbf{OM-Path} (正式には FBVI-bridge-Path) は、DBVI の Doob-bridged forward SDE に適用された Song の確率フローODE を用いており、参照ドリフトはブリッジ辺係数(スコアマッチングなし)から閉形式であり、パス正規化器は \textbf{Onsager--Machlup アクションである。
トレーニングで使われる有限$ε$の値において、目的はドオブブリッジパス後部の負の対数非正規化密度であり、Theorem 1はFreidlin--Wentzell LDPを介して、同じ後部の小さなMAPパスでそれを識別する。
同じブリッジバックボーン上の2つの厳密なパス空間ELBO(FFJORD log-det; OM-regularized CNF)がアブレーションとして導出される。
OM-Pathは、7つのUCI回帰ベンチマークでDBVIに対して一致したペアのWilcoxonテストの下で、2つの大きなデータセット(\textit{power}: $p\!
=\!
0.014$, NLL $\mathbf{0.012}$ matching the DSVI baseline of $0.017$; \textit{oprotein}: $p\!
=\!
0.002$, RMSE $\mathbf{0.716}$ vs。
0.764$, NLL $\mathbf{1.086}$ vs。
\textit{yacht} / \textit{qsar}, and concedes \textit{boston} / \textit{energy} / \textit{concrete} to DBVI on small-N$ noisy data。
厳密なELBO 変種は、任意の UCI 計量について DBVI を明らかにしない。
関連論文リスト
- Scaling Federated Linear Contextual Bandits via Sketching [49.12000877146222]
本稿では,FSCLB(Federated Sketch Contextual Linear Bandits)を提案する。
合成と実世界の両方のデータセットの実験では、FSCLBは計算と通信のコストを90%以上削減している。
論文 参考訳（メタデータ） (2026-05-01T08:22:06Z) - Differentially Private Sparse Linear Regression with Heavy-tailed Responses [5.228567425731136]
本稿では,高次元条件下での重み付き応答を用いたDPスパース線形回帰の包括的研究を行う。
DP-IHT-H法は,ハマー損失とプライベート反復硬度閾値を利用して (tildeObiggl( s* frac12) cdot biggl(fraclog dnbiggr)fraczeta1 + zeta1 + zeta2 + 2zetaの誤差境界を求める。
論文 参考訳（メタデータ） (2025-06-07T16:56:20Z) - Nearly Optimal Differentially Private ReLU Regression [18.599299269974498]
微分プライバシ(DP)モデルにおいて、最も基本的な非学習問題の1つ、ReLU回帰について検討する。
我々は,1パスのミニバッチ一般化モデルパーセプトロンアルゴリズムを提案し,解析することで,$epsilon$と公開データの要求を緩和する。
論文 参考訳（メタデータ） (2025-03-08T02:09:47Z) - Near Sample-Optimal Reduction-based Policy Learning for Average Reward
MDP [58.13930707612128]
この研究は、平均報酬マルコフ決定過程(AMDP)における$varepsilon$-Optimal Policyを得る際のサンプルの複雑さを考察する。
我々は、状態-作用対当たりの$widetilde O(H varepsilon-3 ln frac1delta)$サンプルを証明し、$H := sp(h*)$は任意の最適ポリシーのバイアスのスパンであり、$varepsilon$は精度、$delta$は失敗確率である。
論文 参考訳（メタデータ） (2022-12-01T15:57:58Z) - (Nearly) Optimal Private Linear Regression via Adaptive Clipping [22.639650869444395]
固定されたガウス型分布から各データ点をサンプリングする微分プライベート線形回帰問題について検討する。
本稿では,各イテレーションの点を置換せずにサンプリングする1パスのミニバッチ勾配勾配法(DP-AMBSSGD)を提案し,解析する。
論文 参考訳（メタデータ） (2022-07-11T08:04:46Z) - Supervised Training of Conditional Monge Maps [107.78770597815242]
最適輸送(OT)理論は、多くの可能な選択の中から確率測度を他のものにマッピングする最も効率的な方法を定義し、選択する一般的な原理を記述している。
本研究では,コンテキスト変数に条件付きOTマップの族を推定するマルチタスク手法であるCondOTを紹介する。
本研究では,CondOTの遺伝的・治療的摂動の任意の組み合わせが単一細胞に与える影響を推測する能力を示す。
論文 参考訳（メタデータ） (2022-06-28T19:34:44Z) - Variance-Aware Confidence Set: Variance-Dependent Bound for Linear
Bandits and Horizon-Free Bound for Linear Mixture MDP [76.94328400919836]
線形バンドイットと線形混合決定プロセス(mdp)に対する分散認識信頼セットの構築方法を示す。
線形バンドイットに対しては、$d を特徴次元とする$widetildeo(mathrmpoly(d)sqrt1 + sum_i=1ksigma_i2) が成り立つ。
線形混合 MDP に対し、$widetildeO(mathrmpoly(d)sqrtK)$ regret bound を得る。
論文 参考訳（メタデータ） (2021-01-29T18:57:52Z) - Deep Learning Meets Projective Clustering [66.726500395069]
NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。
計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
論文 参考訳（メタデータ） (2020-10-08T22:47:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。