論文の概要: Robust Variational Bayes by Min-Max Median Aggregation

• arxiv url: http://arxiv.org/abs/2512.12676v1
• Date: Sun, 14 Dec 2025 13:02:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.376947
• Title: Robust Variational Bayes by Min-Max Median Aggregation
• Title（参考訳）: Min-Maxメディアアグリゲーションによるロバスト変動ベイズ
• Authors: Jiawei Yan, Ju Liu, Weidong Liu, Jiyuan Tu,
• Abstract要約: 本稿では,データセットの汚染と流出率を処理するための頑健なベイズフレームワークを提案する。 提案手法では,データを$m$不整合部分集合に分割し,ロバストなアグリゲーション原理に基づく共同最適化問題を定式化する。 以上の結果より,2段階のアプローチは,$m$の局所的後肢を直接集約するよりも,近似誤差が小さいことが示唆された。
• 参考スコア（独自算出の注目度）: 13.102667562202386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a robust and scalable variational Bayes (VB) framework designed to effectively handle contamination and outliers in dataset. Our approach partitions the data into $m$ disjoint subsets and formulates a joint optimization problem based on robust aggregation principles. A key insight is that the full posterior distribution is equivalent to the minimizer of the mean Kullback-Leibler (KL) divergence from the $m$-powered local posterior distributions. To enhance robustness, we replace the mean KL divergence with a min-max median formulation. The min-max formulation not only ensures consistency between the KL minimizer and the Evidence Lower Bound (ELBO) maximizer but also facilitates the establishment of improved statistical rates for the mean of variational posterior. We observe a notable discrepancy in the $m$-powered marginal log likelihood function contingent on the presence of local latent variables. To address this, we treat these two scenarios separately to guarantee the consistency of the aggregated variational posterior. Specifically, when local latent variables are present, we introduce an aggregate-and-rescale strategy. Theoretically, we provide a non-asymptotic analysis of our proposed posterior, incorporating a refined analysis of Bernstein-von Mises (BvM) theorem to accommodate a diverging number of subsets $m$. Our findings indicate that the two-stage approach yields a smaller approximation error compared to directly aggregating the $m$-powered local posteriors. Furthermore, we establish a nearly optimal statistical rate for the mean of the proposed posterior, advancing existing theories related to min-max median estimators. The efficacy of our method is demonstrated through extensive simulation studies.
• Abstract（参考訳）: 本稿では,データセットの汚染や外れ値の処理を効果的に行うために,ロバストでスケーラブルなベイズ(VB)フレームワークを提案する。 提案手法では,データを$m$不整合部分集合に分割し,ロバストなアグリゲーション原理に基づく共同最適化問題を定式化する。 重要な洞察は、完全な後部分布は、$m$パワーの局所後部分布からの平均KL(Kullback-Leibler)の発散の最小値と同値であるということである。 強靭性を高めるため、平均KL偏差をmin-max中央値の定式化に置き換える。 min-maxの定式化は、KL最小化器とELBO(エビデンス下界)最大化器との整合性を保証するだけでなく、変分後部の平均に対する改良された統計率の確立を促進する。 局所潜伏変数の存在にともなう,$m$パワーの辺縁対数確率関数における顕著な相違を観察する。 これを解決するために,これら2つのシナリオを別々に扱い,集約された変動後部の一貫性を保証する。 具体的には、局所潜伏変数が存在する場合、集約と再スケールの戦略を導入する。 理論的には、提案した後部の非漸近解析を提供し、ベルンシュタイン・ヴォン・ミーゼス(英語版)(BvM)定理の洗練された解析を取り入れて、分岐する部分集合の数を$m$とする。 以上の結果より,2段階のアプローチは,$m$の局所的後肢を直接集約するよりも,近似誤差が小さいことが示唆された。 さらに、提案した後続推定平均に対してほぼ最適な統計率を確立し、min-max中央値推定器に関する既存の理論を推し進める。 本手法の有効性は,広範囲なシミュレーション研究によって実証された。

関連論文リスト

• Minimax optimal transfer learning for high-dimensional additive regression [0.0]
  まず,局所線形平滑化を考慮したスムーズなバックフィッティング推定法を提案する。 そこで我々は,移動学習フレームワーク内に新たな2段階推定手法を開発し,人口と経験レベルの理論的保証を提供する。
  論文  参考訳（メタデータ） (2025-09-08T03:16:05Z)
• Bayesian Multivariate Density-Density Regression [25.35298354797079]
  多変量密度回帰(DDR)のための新規でスケーラブルなベイズフレームワークを提案する。 提案手法は,異なる次元の空間に居住する分布の重要な問題に対処する。 ベイジアンDDRは、従来の手法と比較して、堅牢な適合性、優れた予測性能、複雑な生物学的相互作用に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2025-04-17T03:46:03Z)
• Robust and Scalable Variational Bayes [2.014089835498735]
  本稿では,大規模なデータセットにおいて,外れ値や任意の性質の汚染を効果的に処理する変動ベイズ(VB)のための頑健なフレームワークを提案する。 提案手法では,データセットを解離部分集合に分割し,各部分集合の後方を計算し,これらの部分集合に独立してVB近似を適用する。 この新しいアグリゲーション法は、変分媒介後(VM-Posterior)分布を生成する。
  論文  参考訳（メタデータ） (2025-04-16T23:20:43Z)
• Statistical Estimation Under Distribution Shift: Wasserstein Perturbations and Minimax Theory [24.540342159350015]
  我々はWasserstein分布シフトに注目し、各データポイントがわずかに摂動する可能性がある。 データポイント間の独立あるいは協調的な関節シフトである摂動について検討する。 位置推定,線形回帰,非パラメトリック密度推定など,いくつかの重要な統計問題を解析する。
  論文  参考訳（メタデータ） (2023-08-03T16:19:40Z)
• Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
  離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。 最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
  論文  参考訳（メタデータ） (2022-09-16T22:09:53Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
  Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。 単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
  論文  参考訳（メタデータ） (2020-02-26T16:37:37Z)
• Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
  確率分布が未知な分布の不確実性の下でBQOについて検討する。 標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。 この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T12:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。