論文の概要: Bayesian Coresets: Revisiting the Nonconvex Optimization Perspective
- arxiv url: http://arxiv.org/abs/2007.00715v2
- Date: Thu, 25 Feb 2021 22:04:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 22:43:22.943241
- Title: Bayesian Coresets: Revisiting the Nonconvex Optimization Perspective
- Title(参考訳): bayesian coresets: 非凸最適化の観点からの再考
- Authors: Jacky Y. Zhang, Rajiv Khanna, Anastasios Kyrillidis, Oluwasanmi Koyejo
- Abstract要約: コアセット選択のための新しいアルゴリズムを提案し,解析する。
本研究では,様々なベンチマークデータセットに対して,明示的な収束率保証と経験的評価を行う。
- 参考スコア(独自算出の注目度): 30.963638533636352
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian coresets have emerged as a promising approach for implementing
scalable Bayesian inference. The Bayesian coreset problem involves selecting a
(weighted) subset of the data samples, such that the posterior inference using
the selected subset closely approximates the posterior inference using the full
dataset. This manuscript revisits Bayesian coresets through the lens of
sparsity constrained optimization. Leveraging recent advances in accelerated
optimization methods, we propose and analyze a novel algorithm for coreset
selection. We provide explicit convergence rate guarantees and present an
empirical evaluation on a variety of benchmark datasets to highlight our
proposed algorithm's superior performance compared to state-of-the-art on speed
and accuracy.
- Abstract(参考訳): ベイズコアセットはスケーラブルベイズ推論を実装するための有望なアプローチとして登場した。
ベイズコアセット問題は、データサンプルの(重み付けされた)部分集合を選択することであり、選択された部分集合を用いた後部推論は完全なデータセットを使用して後部推論を近似する。
この写本は、スパーシティ制約付き最適化のレンズを通してベイズコアセットを再訪する。
近年の高速化手法の進歩を活かし,コアセット選択のための新しいアルゴリズムを提案し,解析する。
提案手法は,アルゴリズムのアルゴリズムの性能を,速度と精度に比較して明らかに収束率の保証を提供し,様々なベンチマークデータセットに対して実験的な評価を行う。
関連論文リスト
- Bayesian Optimization with Noise-Free Observations: Improved Regret
Bounds via Random Exploration [3.5262982427393186]
我々は,クエリポイントの補間距離がほぼ最適速度で減衰することを保証するために,ランダムな探索ステップに依存する分散データ近似に根ざした新しいアルゴリズムを導入する。
提案アルゴリズムは,従来のGP-UCBアルゴリズムの実装の容易さを維持し,arXiv:2002.05096の予測にほぼ一致する累積的後悔境界を満たす。
論文 参考訳(メタデータ) (2024-01-30T14:16:06Z) - Refined Coreset Selection: Towards Minimal Coreset Size under Model
Performance Constraints [69.27190330994635]
コアセットの選択は、計算コストの削減とディープラーニングアルゴリズムのデータ処理の高速化に強力である。
本稿では,モデル性能とコアセットサイズに対する最適化優先順序を維持する革新的な手法を提案する。
実験的に、広範な実験によりその優位性が確認され、しばしばより小さなコアセットサイズでモデル性能が向上する。
論文 参考訳(メタデータ) (2023-11-15T03:43:04Z) - Random Postprocessing for Combinatorial Bayesian Optimization [0.552480439325792]
ベイズ最適化における後処理法の効果を数値的に検討する。
ポストプロセッシング法は,グローバルな最適解を見つけるための逐次ステップの数を著しく削減する。
論文 参考訳(メタデータ) (2023-09-06T08:59:34Z) - Black-box Coreset Variational Inference [13.892427580424444]
本稿では,基本モデルに対する変分コアセットの原理的適用を可能にするため,基本モデルに対するブラックボックス変分推論フレームワークを提案する。
本手法を教師あり学習問題に適用し,データ要約と推論のための文献における既存手法と比較する。
論文 参考訳(メタデータ) (2022-11-04T11:12:09Z) - On Divergence Measures for Bayesian Pseudocoresets [28.840995981326028]
ベイズ擬似コアセット(Bayesian pseudocoreset)は、後方のパラメータが元のデータセットと近似する小さな合成データセットである。
本稿では,擬似コアセット構築法に対する近似として2つの代表的なデータセット蒸留アルゴリズムを提案する。
ベイズ擬コアセット構成におけるそのような発散対策の統一的な視点を提供する。
論文 参考訳(メタデータ) (2022-10-12T13:45:36Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳(メタデータ) (2022-07-02T16:59:37Z) - Fast Bayesian Coresets via Subsampling and Quasi-Newton Refinement [15.426481600285728]
本稿では,まず一意にランダムなデータ集合を選択し,その重み付けを新しい準ニュートン法を用いて最適化するベイジアンコアセット構築アルゴリズムを提案する。
提案アルゴリズムは実装が簡単で,低コスト後部近似をユーザが指定する必要がなく,出力コアセット後部のKL分散に束縛された一般的な高確率のアルゴリズムである。
論文 参考訳(メタデータ) (2022-03-18T01:04:39Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-09-23T17:38:24Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳(メタデータ) (2021-07-02T16:21:52Z) - Estimating leverage scores via rank revealing methods and randomization [50.591267188664666]
任意のランクの正方形密度あるいはスパース行列の統計レバレッジスコアを推定するアルゴリズムについて検討した。
提案手法は,高密度およびスパースなランダム化次元性還元変換の合成と階調明細化法を組み合わせることに基づく。
論文 参考訳(メタデータ) (2021-05-23T19:21:55Z) - Sequential Subspace Search for Functional Bayesian Optimization
Incorporating Experimenter Intuition [63.011641517977644]
本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。
標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。
シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
論文 参考訳(メタデータ) (2020-09-08T06:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。