論文の概要: Robust and Scalable Variational Bayes

• arxiv url: http://arxiv.org/abs/2504.12528v1
• Date: Wed, 16 Apr 2025 23:20:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:38:13.567241
• Title: Robust and Scalable Variational Bayes
• Title（参考訳）: ロバストでスケーラブルな変分ベイズ
• Authors: Carlos Misael Madrid Padilla, Shitao Fan, Lizhen Lin,
• Abstract要約: 本稿では,大規模なデータセットにおいて,外れ値や任意の性質の汚染を効果的に処理する変動ベイズ(VB)のための頑健なフレームワークを提案する。 提案手法では,データセットを解離部分集合に分割し,各部分集合の後方を計算し,これらの部分集合に独立してVB近似を適用する。 この新しいアグリゲーション法は、変分媒介後(VM-Posterior)分布を生成する。
• 参考スコア（独自算出の注目度）: 2.014089835498735
• License:
• Abstract: We propose a robust and scalable framework for variational Bayes (VB) that effectively handles outliers and contamination of arbitrary nature in large datasets. Our approach divides the dataset into disjoint subsets, computes the posterior for each subset, and applies VB approximation independently to these posteriors. The resulting variational posteriors with respect to the subsets are then aggregated using the geometric median of probability measures, computed with respect to the Wasserstein distance. This novel aggregation method yields the Variational Median Posterior (VM-Posterior) distribution. We rigorously demonstrate that the VM-Posterior preserves contraction properties akin to those of the true posterior, while accounting for approximation errors or the variational gap inherent in VB methods. We also provide provable robustness guarantee of the VM-Posterior. Furthermore, we establish a variational Bernstein-von Mises theorem for both multivariate Gaussian distributions with general covariance structures and the mean-field variational family. To facilitate practical implementation, we adapt existing algorithms for computing the VM-Posterior and evaluate its performance through extensive numerical experiments. The results highlight its robustness and scalability, making it a reliable tool for Bayesian inference in the presence of complex, contaminated datasets.
• Abstract（参考訳）: 本稿では,大規模データセットにおける外乱や任意の性質の汚染を効果的に処理する,変動ベイズ(VB)のための堅牢でスケーラブルなフレームワークを提案する。 提案手法では,データセットを解離部分集合に分割し,各部分集合の後方を計算し,これらの部分集合に独立してVB近似を適用する。 結果として得られる部分集合に対する変分後部は、ワッサーシュタイン距離に関して計算された確率測度の幾何学的中央値を用いて集約される。 この新しいアグリゲーション法は、変分媒介後(VM-Posterior)分布を生成する。 我々は,VM-Posteriorが,VB法に固有の近似誤差や変動ギャップを考慮に入れながら,真の後部と同じような収縮特性を保っていることを厳密に示す。 VM-Posteriorの証明可能な堅牢性保証も提供します。 さらに、一般共分散構造を持つ多変量ガウス分布と平均場変分族に対する変分ベルンシュタイン・ヴォン・ミゼス定理を確立する。 そこで我々は,VM-Posterior 計算のための既存のアルゴリズムを適応させ,その性能を広範囲な数値実験により評価する。 その結果、その堅牢性とスケーラビリティを強調し、複雑な汚染されたデータセットの存在下でのベイズ推論の信頼性の高いツールとなった。

関連論文リスト

• Stable Derivative Free Gaussian Mixture Variational Inference for Bayesian Inverse Problems [4.842853252452336]
  主な課題は、フォワードモデルのコストがかかる評価、マルチモーダリティ、フォワードモデルの到達不能勾配である。 我々は,フィッシャー・ラオ自然勾配と特殊二次規則を組み合わせた変分推論フレームワークを開発し,ガウス混合変分族に対する微分自由更新を可能にする。 導関数自由ガウス混合変分推論 (DF-GMVI) と呼ばれるこの手法は共分散陽性とアフィン不変性を保証し、複素後続分布を近似するための安定かつ効率的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2025-01-08T03:50:15Z)
• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Robust scalable initialization for Bayesian variational inference with multi-modal Laplace approximations [0.0]
  フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。 本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T19:30:04Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Distributionally Robust Learning [11.916893752969429]
  本書は,データの摂動に頑健な包括的統計学習フレームワークを開発する。 各問題に対する引き込み可能なDRO緩和が導出され、境界と正規化の間の接続が確立される。 理論以外にも、数値実験や、合成データと実データを用いたケーススタディも含んでいる。
  論文  参考訳（メタデータ） (2021-08-20T04:14:18Z)
• Recyclable Gaussian Processes [0.0]
  ガウス過程に対する独立な変分近似をリサイクルするための新しい枠組みを提案する。 主な貢献は、ガウス過程の辞書が与えられた変分アンサンブルの構築である。 私たちのフレームワークは回帰、分類、異種タスクを可能にします。
  論文  参考訳（メタデータ） (2020-10-06T09:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。