論文の概要: Bayesian Ensembling: Insights from Online Optimization and Empirical Bayes
- arxiv url: http://arxiv.org/abs/2505.15638v1
- Date: Wed, 21 May 2025 15:19:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-22 15:42:59.7358
- Title: Bayesian Ensembling: Insights from Online Optimization and Empirical Bayes
- Title（参考訳）: Bayesian Ensembling:オンライン最適化と経験的ベイズからの洞察
- Authors: Daniel Waxman, Fernando Llorente, Petar M. Djurić,
- Abstract要約: ベイズモデル平均化(BMA)やベイズ積み重ねのような既存のアプローチを、新しい経験的ベイズレンズを通して再解釈する。
予測分布よりもログスコアを最適化してベイズモデルを適応的に組み合わせる手法である Online Bayesian Stacking (OBS) を提案する。
- 参考スコア（独自算出の注目度）: 45.2233252981348
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We revisit the classical problem of Bayesian ensembles and address the challenge of learning optimal combinations of Bayesian models in an online, continual learning setting. To this end, we reinterpret existing approaches such as Bayesian model averaging (BMA) and Bayesian stacking through a novel empirical Bayes lens, shedding new light on the limitations and pathologies of BMA. Further motivated by insights from online optimization, we propose Online Bayesian Stacking (OBS), a method that optimizes the log-score over predictive distributions to adaptively combine Bayesian models. A key contribution of our work is establishing a novel connection between OBS and portfolio selection, bridging Bayesian ensemble learning with a rich, well-studied theoretical framework that offers efficient algorithms and extensive regret analysis. We further clarify the relationship between OBS and online BMA, showing that they optimize related but distinct cost functions. Through theoretical analysis and empirical evaluation, we identify scenarios where OBS outperforms online BMA and provide principled guidance on when practitioners should prefer one approach over the other.
- Abstract（参考訳）: ベイジアンアンアンサンブルの古典的問題を再考し、オンライン連続学習環境においてベイジアンモデルの最適組み合わせを学習するという課題に対処する。
この目的のために、ベイズ平均化 (BMA) やベイズ累積化 (Bayesian stacking) のような既存のアプローチを新しい経験的ベイズレンズを通して解釈し、BMAの限界と病理に新たな光を当てる。
オンライン最適化の知見からさらに動機付け,予測分布よりもログスコアを最適化してベイズモデルを適応的に組み合わせる手法である Online Bayesian Stacking (OBS) を提案する。
我々の研究の重要な貢献は、OBSとポートフォリオ選択の新たな関係を確立し、効率的なアルゴリズムと広範な後悔分析を提供するリッチでよく研究された理論フレームワークでベイズアンサンブル学習をブリッジすることである。
さらに、OBSとオンラインBMAの関係を明らかにし、関連するが異なるコスト関数を最適化していることを示す。
理論的分析と経験的評価により,OBSがオンラインBMAを上回ったシナリオを特定し,実践者が一方のアプローチを優先すべき時期に関する原則的ガイダンスを提供する。
関連論文リスト
- Offline Learning for Combinatorial Multi-armed Bandits [56.96242764723241]
Off-CMABはCMABの最初のオフライン学習フレームワークである。
Off-CMABは悲観的な報酬推定と解法を組み合わせる。
合成および実世界のデータセットの実験は、CLCBの優れた性能を強調している。
論文 参考訳（メタデータ） (2025-01-31T16:56:18Z) - Batched Bayesian optimization by maximizing the probability of including the optimum [44.38372821900645]
純粋に活用する qPO (multipoint of Optimality) による離散最適化のための獲得戦略を提案する。
提案手法を大規模化学ライブラリのモデル誘導探索に適用し,バッチ化ベイズ最適化における他の最先端手法と競合することを示す実証的証拠を提供する。
論文 参考訳（メタデータ） (2024-10-08T20:13:12Z) - A Bayesian Approach to Robust Inverse Reinforcement Learning [54.24816623644148]
我々は、オフラインモデルに基づく逆強化学習(IRL)に対するベイズ的アプローチを考える。
提案フレームワークは,専門家の報酬関数と環境力学の主観的モデルとを同時推定することにより,既存のオフラインモデルベースIRLアプローチとは異なる。
本分析は, 専門家が環境の高精度なモデルを持つと考えられる場合, 評価政策が堅牢な性能を示すという新たな知見を提示する。
論文 参考訳（メタデータ） (2023-09-15T17:37:09Z) - Model-based Causal Bayesian Optimization [74.78486244786083]
乗算重み付き因果ベイズ最適化のための最初のアルゴリズム(CBO-MW)を提案する。
グラフ関連の量に自然に依存するCBO-MWに対する後悔の限界を導出する。
我々の実験は、共有モビリティシステムにおいて、ユーザの需要パターンを学習するためにCBO-MWをどのように使用できるかの現実的なデモを含む。
論文 参考訳（メタデータ） (2023-07-31T13:02:36Z) - Recent Advances in Bayesian Optimization [9.139734850798124]
本稿では,ベイズ最適化の最近の進歩について,包括的かつ最新の調査を試みている。
我々はベイズ最適化に関する既存の研究を,提案アルゴリズムのモチベーションと焦点に応じて,9つの主要なグループに分類する。
論文 参考訳（メタデータ） (2022-06-07T13:47:00Z) - Sparse Bayesian Optimization [16.867375370457438]
よりスパースで解釈可能な構成を発見できる正規化ベースのアプローチをいくつか提示する。
そこで本研究では,同相連続に基づく新たな微分緩和法を提案し,空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間
スパシティのために効率的に最適化できることが示されています。
論文 参考訳（メタデータ） (2022-03-03T18:25:33Z) - Bayesian Bellman Operators [55.959376449737405]
ベイズ強化学習(RL)の新しい視点について紹介する。
我々のフレームワークは、ブートストラップが導入されたとき、モデルなしアプローチは実際には値関数ではなくベルマン作用素よりも後部を推測する、という洞察に動機づけられている。
論文 参考訳（メタデータ） (2021-06-09T12:20:46Z) - Preferential Batch Bayesian Optimization [16.141259199997005]
優先バッチベイズ最適化(PBBO)は、潜在関数の最適性を見つけるための新しいフレームワークである。
本稿では,ベイズ最適化における従来の手法の一般化と拡張について述べる。
論文 参考訳（メタデータ） (2020-03-25T14:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。