論文の概要: A Trust-Region Method for Graphical Stein Variational Inference
- arxiv url: http://arxiv.org/abs/2410.16195v1
- Date: Mon, 21 Oct 2024 16:59:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:20:52.405675
- Title: A Trust-Region Method for Graphical Stein Variational Inference
- Title（参考訳）: 図形ステレオ変分推論のためのトラスト回帰法
- Authors: Liam Pavlovic, David M. Rosen,
- Abstract要約: スタイン変分法 (SVI) は、サンプル位置を情報理論尺度に共同最適化してサンプルセットを生成するサンプルベースの近似推論手法である。
本稿では,これらの課題に対処する新しい信頼条件付きアプローチを提案する。
- 参考スコア（独自算出の注目度）: 3.5516599670943774
- License:
- Abstract: Stein variational inference (SVI) is a sample-based approximate Bayesian inference technique that generates a sample set by jointly optimizing the samples' locations to minimize an information-theoretic measure of discrepancy with the target probability distribution. SVI thus provides a fast and significantly more sample-efficient approach to Bayesian inference than traditional (random-sampling-based) alternatives. However, the optimization techniques employed in existing SVI methods struggle to address problems in which the target distribution is high-dimensional, poorly-conditioned, or non-convex, which severely limits the range of their practical applicability. In this paper, we propose a novel trust-region optimization approach for SVI that successfully addresses each of these challenges. Our method builds upon prior work in SVI by leveraging conditional independences in the target distribution (to achieve high-dimensional scaling) and second-order information (to address poor conditioning), while additionally providing an effective adaptive step control procedure, which is essential for ensuring convergence on challenging non-convex optimization problems. Experimental results show our method achieves superior numerical performance, both in convergence rate and sample accuracy, and scales better in high-dimensional distributions, than previous SVI techniques.
- Abstract（参考訳）: スタイン変分推論 (SVI) はサンプルに基づく近似ベイズ推定手法であり、サンプルの位置を最適化してサンプル集合を生成する。
したがって、SVIは従来の(ランダムサンプリングに基づく)代替手法よりも、ベイズ推論に対する高速ではるかに効率的なアプローチを提供する。
しかし、既存のSVI手法で用いられる最適化手法は、目標分布が高次元、低条件、あるいは非凸であり、実用性の範囲を著しく制限する問題に対処するのに苦労する。
本稿では,これらの課題に対処する新しい信頼領域最適化手法を提案する。
提案手法は,目標分布における条件独立性(高次元スケーリング)と2次情報(低条件化に対処する)を活用するとともに,非凸最適化問題への収束を確保するための効果的な適応ステップ制御手順を提供する。
実験により,本手法は収束率と試料精度の両方において優れた数値性能を示し,従来のSVI法よりも高次元分布において優れたスケールを実現することができた。
関連論文リスト
- Towards Convexity in Anomaly Detection: A New Formulation of SSLM with Unique Optimal Solutions [12.250410918282615]
Support Vector Description (SVDD) Small and Large Sphere SVM (MvMs) として広く使われている手法における未解決問題
従来の非アプローチでは不可能であることを示す新しいSSLMを導入する。
論文 参考訳（メタデータ） (2024-10-31T09:42:39Z) - An Adaptive Dimension Reduction Estimation Method for High-dimensional
Bayesian Optimization [6.79843988450982]
BOを高次元設定に拡張するための2段階最適化フレームワークを提案する。
私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。
数値実験により,困難シナリオにおける本手法の有効性が検証された。
論文 参考訳（メタデータ） (2024-03-08T16:21:08Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Distributed Distributionally Robust Optimization with Non-Convex
Objectives [24.64654924173679]
Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。
新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。
実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
論文 参考訳（メタデータ） (2022-10-14T07:39:13Z) - An Adaptive Incremental Gradient Method With Support for Non-Euclidean
Norms [19.41328109094503]
そこで本研究では,SAGAアルゴリズムの適応型を新たにいくつか提案し,解析する。
一般的な設定の下で収束保証を確立する。
我々は、非ユークリッドノルムをサポートするためにSAGAの分析を改善した。
論文 参考訳（メタデータ） (2022-04-28T09:43:07Z) - Variance-Reduced Heterogeneous Federated Learning via Stratified Client
Selection [31.401919362978017]
本稿では,収束性の向上と精度の向上を図るため,新たな階層化クライアント選択方式を提案する。
地層変動の多様性を考慮し,最適化されたサンプルサイズ割当方式を提案する。
実験結果から,本手法は最先端の手法と比較して性能が向上するだけでなく,一般的なFLアルゴリズムと互換性があることが確認された。
論文 参考訳（メタデータ） (2022-01-15T05:41:36Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-09-23T17:38:24Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳（メタデータ） (2021-06-30T11:00:24Z) - A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。
予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
論文 参考訳（メタデータ） (2020-07-08T11:35:47Z) - Distributionally Robust Bayesian Optimization [121.71766171427433]
そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。
提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。
提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
論文 参考訳（メタデータ） (2020-02-20T22:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。