論文の概要: Coreset Markov Chain Monte Carlo

• arxiv url: http://arxiv.org/abs/2310.17063v2
• Date: Sat, 9 Mar 2024 04:42:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 15:40:00.078919
• Title: Coreset Markov Chain Monte Carlo
• Title（参考訳）: コアセットマルコフ連鎖モンテカルロ
• Authors: Naitong Chen, Trevor Campbell
• Abstract要約: コアセットの重みをチューニングするための最先端の手法は高価であり、非自明なユーザー入力を必要とし、モデルに制約を課す。 我々は,コアセットの重みを同時に更新しながら,コアセット後部を対象とするマルコフ連鎖をシミュレートする新しい手法,Coreset MCMCを提案する。
• 参考スコア（独自算出の注目度）: 15.310842498680483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A Bayesian coreset is a small, weighted subset of data that replaces the full dataset during inference in order to reduce computational cost. However, state of the art methods for tuning coreset weights are expensive, require nontrivial user input, and impose constraints on the model. In this work, we propose a new method -- Coreset MCMC -- that simulates a Markov chain targeting the coreset posterior, while simultaneously updating the coreset weights using those same draws. Coreset MCMC is simple to implement and tune, and can be used with any existing MCMC kernel. We analyze Coreset MCMC in a representative setting to obtain key insights about the convergence behaviour of the method. Empirical results demonstrate that Coreset MCMC provides higher quality posterior approximations and reduced computational cost compared with other coreset construction methods. Further, compared with other general subsampling MCMC methods, we find that Coreset MCMC has a higher sampling efficiency with competitively accurate posterior approximations.
• Abstract（参考訳）: ベイジアンコアセット(Bayesian coreset)は、計算コストを削減するために推論中に全データセットを置き換える小さな重み付きデータサブセットである。 しかしながら、コアセット重みをチューニングするための art メソッドの状態は高価であり、非自明なユーザ入力を必要とし、モデルに制約を課している。 本研究では,コアセット後部をターゲットとしたマルコフ連鎖をシミュレートし,同時にコアセット重みを更新する新しい手法,Coreset MCMCを提案する。 Coreset MCMCは実装とチューニングが簡単で、既存のMCMCカーネルで使用することができる。 提案手法の収束挙動に関する重要な知見を得るために,Coreset MCMCを代表的設定で解析する。 実験により、Coreset MCMCは、他のコアセット構築法と比較して、高品質な後続近似と計算コストの低減を提供することを示した。 さらに,他のMCMC法と比較すると,Coreset MCMCのサンプリング効率が向上し,後方近似の精度が向上することがわかった。

関連論文リスト

• Tuning-free coreset Markov chain Monte Carlo [14.360996967498]
  ベイズコアセット(英: Bayesian coreset)は、計算コストを削減するために推論中に全データを置き換えるデータセットの小さな重み付きサブセットである。 Coreset Markov chain Monte Carlo (Coreset MCMC) はコアセットをターゲットとした適応的なMarkov chainからのドローを使用してコアセットの重みをトレーニングする。 学習速度のない勾配最適化手法であるHot-start Distance over Gradient (Hot DoG)を提案する。 実験の結果,Hot DoGは他の学習速度非依存の勾配法よりも高品質な後部近似が得られた。
  論文  参考訳（メタデータ） (2024-10-24T17:59:23Z)
• MCMC-driven learning [64.94438070592365]
  この論文はモンテカルロのハンドブックの章として登場することを意図している。 本研究の目的はマルコフ連鎖学習の共通点における様々な問題を統一することである。
  論文  参考訳（メタデータ） (2024-02-14T22:10:42Z)
• Refined Coreset Selection: Towards Minimal Coreset Size under Model Performance Constraints [69.27190330994635]
  コアセットの選択は、計算コストの削減とディープラーニングアルゴリズムのデータ処理の高速化に強力である。 本稿では,モデル性能とコアセットサイズに対する最適化優先順序を維持する革新的な手法を提案する。 実験的に、広範な実験によりその優位性が確認され、しばしばより小さなコアセットサイズでモデル性能が向上する。
  論文  参考訳（メタデータ） (2023-11-15T03:43:04Z)
• Tangent Model Composition for Ensembling and Continual Fine-tuning [69.92177580782929]
  タンジェントモデル合成(Tangent Model composition, TMC)は、事前訓練された点を中心に微調整されたコンポーネントモデルを独立に結合する手法である。 TMCの精度は4.2%向上し、非線形微調整モデルの精度は4.2%向上した。
  論文  参考訳（メタデータ） (2023-07-16T17:45:33Z)
• Knowledge Removal in Sampling-based Bayesian Inference [86.14397783398711]
  単一のデータ削除要求が来ると、企業は大量のリソースで学んだモデル全体を削除する必要があるかもしれない。 既存の研究は、明示的にパラメータ化されたモデルのためにデータから学んだ知識を取り除く方法を提案する。 本稿では,MCMCのための機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-24T10:03:01Z)
• DG-LMC: A Turn-key and Scalable Synchronous Distributed MCMC Algorithm [21.128416842467132]
  ユーザフレンドリな分散MCMCアルゴリズムを用いて,高次元設定でのスケーリングを実現する。 本稿では,合成実験および実データ実験における提案手法の有効性について述べる。
  論文  参考訳（メタデータ） (2021-06-11T10:37:14Z)
• Stochastic Gradient MCMC with Multi-Armed Bandit Tuning [2.2559617939136505]
  本稿では,SGMCMCハイパーパラメータを調整し,後部近似の精度を最大化するバンディットに基づく新しいアルゴリズムを提案する。 シミュレーションと実データの両方で実験を行い,本手法が広範囲の応用分野に適用可能であることを確認した。
  論文  参考訳（メタデータ） (2021-05-27T11:00:31Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Scaling Hamiltonian Monte Carlo Inference for Bayesian Neural Networks with Symmetric Splitting [6.684193501969829]
  ハミルトニアン・モンテカルロ(英: Hamiltonian Monte Carlo、HMC)は、マルコフ連鎖モンテカルロのアプローチであり、ニューラルネットワークのような高次元モデルにおいて好ましい探索特性を示す。 対称勾配に依存しない分割HMCに対する新たな積分方式を導入する。 提案手法は,大規模機械学習問題に対する推論スキームを考慮した場合,HMCを実現可能な選択肢として示す。
  論文  参考訳（メタデータ） (2020-10-14T01:58:34Z)
• Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
  本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。 実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
  論文  参考訳（メタデータ） (2020-08-12T15:02:59Z)
• On Coresets for Support Vector Machines [61.928187390362176]
  coresetは、元のデータポイントの小さな、代表的なサブセットである。 我々は,本アルゴリズムを用いて,既製のSVMソルバをストリーミング,分散,動的データ設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-15T23:25:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。