論文の概要: Fast Bayesian Coresets via Subsampling and Quasi-Newton Refinement

• arxiv url: http://arxiv.org/abs/2203.09675v1
• Date: Fri, 18 Mar 2022 01:04:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-21 14:12:02.803196
• Title: Fast Bayesian Coresets via Subsampling and Quasi-Newton Refinement
• Title（参考訳）: サブサンプリングと準ニュートン精製による高速ベイズコアセット
• Authors: Cian Naik, Judith Rousseau, Trevor Campbell
• Abstract要約: 本稿では,まず一意にランダムなデータ集合を選択し,その重み付けを新しい準ニュートン法を用いて最適化するベイジアンコアセット構築アルゴリズムを提案する。 提案アルゴリズムは実装が簡単で,低コスト後部近似をユーザが指定する必要がなく,出力コアセット後部のKL分散に束縛された一般的な高確率のアルゴリズムである。
• 参考スコア（独自算出の注目度）: 15.426481600285728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian coresets approximate a posterior distribution by building a small weighted subset of the data points. Any inference procedure that is too computationally expensive to be run on the full posterior can instead be run inexpensively on the coreset, with results that approximate those on the full data. However, current approaches are limited by either a significant run-time or the need for the user to specify a low-cost approximation to the full posterior. We propose a Bayesian coreset construction algorithm that first selects a uniformly random subset of data, and then optimizes the weights using a novel quasi-Newton method. Our algorithm is simple to implement, does not require the user to specify a low-cost posterior approximation, and is the first to come with a general high-probability bound on the KL divergence of the output coreset posterior. Experiments demonstrate that the method provides orders of magnitude improvement in construction time against the state-of-the-art black-box method. Moreover, it provides significant improvements in coreset quality against alternatives with comparable construction times, with far less storage cost and user input required.
• Abstract（参考訳）: ベイズコアセットは、データポイントの小さな重み付き部分集合を構築することによって、後続分布を近似する。 全後方で実行するには計算コストが高すぎる推論手順は、代わりにcoreset上で安価に実行することができ、その結果は全データに近似する。 しかし、現在のアプローチは、大幅な実行時間や、ユーザが完全な後部への低コストな近似を指定する必要性によって制限されている。 まず,データのランダムな部分集合を選択し,新しい擬似ニュートン法を用いて重み付けを最適化するベイズ型コアセット構成アルゴリズムを提案する。 提案アルゴリズムは実装が簡単で,低コスト後部近似をユーザが指定する必要がなく,出力コアセット後部のKL分散に束縛された一般的な高確率のアルゴリズムである。 実験により,本手法は最先端のブラックボックス法に対して建設時間を大幅に改善することを示した。 さらに、コンストラクション時間に比較してコアセットの品質が大幅に向上し、ストレージコストとユーザ入力が大幅に削減される。

関連論文リスト

• Function Space Bayesian Pseudocoreset for Bayesian Neural Networks [16.952160718249292]
  ベイズ擬似コアセット(Bayesian pseudocoreset)は、大規模データセットの基本情報を要約したコンパクトな合成データセットである。 本稿では,関数空間上で動作する新しいベイズ擬似コアセット構築法を提案する。 関数空間を直接扱うことで、重み空間で作業する際に生じるいくつかの課題を回避できる。
  論文  参考訳（メタデータ） (2023-10-27T02:04:31Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• Bayesian Pseudo-Coresets via Contrastive Divergence [5.479797073162603]
  対照的な発散を利用して擬似コアセットを構築するための新しい手法を提案する。 これは擬似コアセット構築プロセスにおける近似の必要性を排除する。 複数のデータセットに対して広範な実験を行い、既存のBPC技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T17:13:50Z)
• Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
  我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。 我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
  論文  参考訳（メタデータ） (2022-07-16T03:09:30Z)
• Posterior Coreset Construction with Kernelized Stein Discrepancy for Model-Based Reinforcement Learning [78.30395044401321]
  我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。 ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。 連続的な制御環境では、壁時計の時間を最大50%削減することができる。
  論文  参考訳（メタデータ） (2022-06-02T17:27:49Z)
• Hessian Averaging in Stochastic Newton Methods Achieves Superlinear Convergence [69.65563161962245]
  ニュートン法を用いて,滑らかで強凸な目的関数を考える。 最適段階において局所収束に遷移する普遍重み付き平均化スキームが存在することを示す。
  論文  参考訳（メタデータ） (2022-04-20T07:14:21Z)
• Bayesian inference via sparse Hamiltonian flows [16.393322369105864]
  ベイジアンコアセット(Bayesian coreset)は、ベイジアン推論中に全データセットを置き換える、小さな重み付きデータサブセットである。 現在の手法は遅い傾向にあり、コアセットの構築後に二次的な推論ステップが必要であり、データ限界の証拠には限界がない。 これら3つの課題に対処する新しい手法、スパース・ハミルトン流を導入する。
  論文  参考訳（メタデータ） (2022-03-11T02:36:59Z)
• Nys-Curve: Nystr\"om-Approximated Curvature for Stochastic Optimization [20.189732632410024]
  準ニュートン法は, セカント方程式を用いてヘッセンを近似することにより曲率情報を提供する。 線形収束率を持つ凸関数の大規模な経験的リスクに対するニュートンステップに基づくDP最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-16T14:04:51Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Bayesian Coresets: Revisiting the Nonconvex Optimization Perspective [30.963638533636352]
  コアセット選択のための新しいアルゴリズムを提案し,解析する。 本研究では,様々なベンチマークデータセットに対して,明示的な収束率保証と経験的評価を行う。
  論文  参考訳（メタデータ） (2020-07-01T19:34:59Z)
• Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
  カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。 我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
  論文  参考訳（メタデータ） (2020-04-23T05:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。