論文の概要: Large-scale empirical tuning and comparison of default optimizers for variational inference

• arxiv url: http://arxiv.org/abs/2606.07841v1
• Date: Fri, 05 Jun 2026 21:04:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.480605
• Title: Large-scale empirical tuning and comparison of default optimizers for variational inference
• Title（参考訳）: 変分推論のための大規模経験的チューニングとデフォルトオプティマイザの比較
• Authors: Trevor Campbell, Jonathan H. Huggins, Kyurae Kim, Charles C. Margossian,
• Abstract要約: Black-box variational inference (BBVI) は、最適化に依存する後方近似の方法論である。 過去10年間で、チューニングの必要性を完全に軽減または排除する多くの新しい適応最適化アルゴリズムが開発されてきた。 56基最適化アルゴリズムの大規模評価を1092の推論問題に適用し,550,000以上の個別最適化と15コアの計算処理を含む大規模評価を行った。
• 参考スコア（独自算出の注目度）: 16.671882609909396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Black-box variational inference (BBVI) is a methodology for posterior approximation that relies on stochastic optimization. In practice, the stochastic optimizers underpinning BBVI generally require extensive problem-specific tuning, which undermines its promise as a truly "black box" inference algorithm. However, over the past decade, many new adaptive stochastic optimization algorithms have been developed that reduce or remove entirely the need for tuning. In this work, we investigate this new collection of adaptive methods in the context of BBVI, with the goal of establishing the current state of the art in tuning-free optimization-based inference. In particular, we present a large-scale empirical evaluation of 56 stochastic gradient-based optimization algorithms applied to 1092 Bayesian inference optimization problems, involving over 550,000 individual optimization runs and 15 core-years of compute. The optimization algorithms we evaluate are chosen to represent a wide spectrum of recent approaches and the benchmark problems are chosen to span a range of difficulty, with posterior target dimension 1-10^4, condition number 1-10^8, and a range of variational families. Our results show that no single method dominates, but running a selection of 5 algorithms suffices to reliably get close to the best-possible observed performance. We thus provide a strong baseline for applications where expert tuning is not possible and for comparison when developing new stochastic optimization algorithms.
• Abstract（参考訳）: Black-box variational inference (BBVI) は確率的最適化に依存する後方近似の方法論である。 実際には、BBVIを支える確率最適化器は、一般に広範な問題固有のチューニングを必要とし、真の「ブラックボックス」推論アルゴリズムとしての約束を損なう。 しかし、過去10年間に、チューニングの必要性を完全に軽減または除去する適応確率最適化アルゴリズムが数多く開発されてきた。 本研究では,BBVIの文脈における適応的手法の新たなコレクションについて検討する。 特に,1092ベイズ推定最適化問題に適用された56の確率勾配に基づく最適化アルゴリズムを大規模に評価し,550,000以上の個別最適化と15コアの計算を含む実験を行った。 評価した最適化アルゴリズムは、近年の幅広いアプローチのスペクトルを表すために選択され、ベンチマーク問題は、後方目標次元1-10^4、条件番号1-10^8、変動族の範囲を含む、様々な難易度にまたがるように選択される。 以上の結果から, 一つの手法が支配的ではないが, 5つのアルゴリズムの選び分けを行えば, 最良の観測性能に確実に近づくことが示唆された。 これにより、エキスパートチューニングが不可能なアプリケーションや、新しい確率最適化アルゴリズムを開発する際の比較のための強力なベースラインを提供する。

関連論文リスト

• POP: Prior-fitted Optimizer Policies [20.784587787548436]
  POP(Prior Policies Policies)は、文脈情報に基づいて段階的に座標を予測できるメタ学習モデルである。 本モデルは,不適合な目的から抽出した数百万の合成最適化問題に基づいて学習した。
  論文  参考訳（メタデータ） (2026-02-17T10:27:07Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• High dimensional Bayesian Optimization Algorithm for Complex System in Time Series [1.9371782627708491]
  本稿では,新しい高次元ベイズ最適化アルゴリズムを提案する。 モデルの時間依存特性や次元依存特性に基づいて,提案アルゴリズムは次元を均等に低減することができる。 最適解の最終精度を高めるために,提案アルゴリズムは,最終段階におけるアダムに基づく一連のステップに基づく局所探索を追加する。
  論文  参考訳（メタデータ） (2021-08-04T21:21:17Z)
• An Efficient Batch Constrained Bayesian Optimization Approach for Analog Circuit Synthesis via Multi-objective Acquisition Ensemble [11.64233949999656]
  MACE(Multi-objective Acquisition Function Ensemble)を用いた並列化可能なベイズ最適化アルゴリズムを提案する。 提案アルゴリズムは,バッチサイズが15のときの非制約最適化問題に対する微分進化(DE)と比較して,シミュレーション全体の時間を最大74倍削減することができる。 制約付き最適化問題に対して,提案アルゴリズムは,バッチサイズが15の場合に,重み付き改善に基づくベイズ最適化(WEIBO)アプローチと比較して最大15倍の高速化を実現することができる。
  論文  参考訳（メタデータ） (2021-06-28T13:21:28Z)
• On the Optimality of Batch Policy Optimization Algorithms [106.89498352537682]
  バッチポリシー最適化は、環境と対話する前に既存のデータをポリシー構築に活用することを検討する。 信頼調整インデックスアルゴリズムは楽観的,悲観的,中立的いずれであってもミニマックス最適であることを示す。 最適値予測の本来の難易度を考慮した新しい重み付き最小値基準を提案する。
  論文  参考訳（メタデータ） (2021-04-06T05:23:20Z)
• Adaptive Sampling of Pareto Frontiers with Binary Constraints Using Regression and Classification [0.0]
  本稿では,二項制約を持つブラックボックス多目的最適化問題に対する適応最適化アルゴリズムを提案する。 本手法は確率的回帰モデルと分類モデルに基づいており,最適化目標のサロゲートとして機能する。 また,予想される超体積計算を高速化するために,新しい楕円形トランケーション法を提案する。
  論文  参考訳（メタデータ） (2020-08-27T09:15:02Z)
• Stochastic Optimization Forests [60.523606291705214]
  標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。 概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-08-17T16:56:06Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。