論文の概要: Online, Informative MCMC Thinning with Kernelized Stein Discrepancy

• arxiv url: http://arxiv.org/abs/2201.07130v1
• Date: Tue, 18 Jan 2022 17:13:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 13:59:21.546343
• Title: Online, Informative MCMC Thinning with Kernelized Stein Discrepancy
• Title（参考訳）: オンライン, 情報型mcmc薄型化とsteinの不一致
• Authors: Cole Hawkins, Alec Koppel, Zheng Zhang
• Abstract要約: KSD閾値を超える後部サンプルのみを保持するMCMC変異体を提案する。 我々は、KSD薄膜のいくつかの設定に対して収束と複雑性のトレードオフを確立する。 コードは atcolehawkins.com/colehawkins/KSD-Thinning で入手できる。
• 参考スコア（独自算出の注目度）: 14.218897034491125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A fundamental challenge in Bayesian inference is efficient representation of a target distribution. Many non-parametric approaches do so by sampling a large number of points using variants of Markov Chain Monte Carlo (MCMC). We propose an MCMC variant that retains only those posterior samples which exceed a KSD threshold, which we call KSD Thinning. We establish the convergence and complexity tradeoffs for several settings of KSD Thinning as a function of the KSD threshold parameter, sample size, and other problem parameters. Finally, we provide experimental comparisons against other online nonparametric Bayesian methods that generate low-complexity posterior representations, and observe superior consistency/complexity tradeoffs. Code is available at github.com/colehawkins/KSD-Thinning.
• Abstract（参考訳）: ベイズ推論における基本的な課題は、ターゲット分布の効率的な表現である。 多くの非パラメトリックなアプローチは、マルコフ・チェイン・モンテカルロ (MCMC) の変種を用いて多数の点をサンプリングする。 我々は、ksd閾値を超える後方サンプルのみを保持するmcmc変異体を提案し、これをksd薄型化と呼ぶ。 ksdしきい値パラメータ、サンプルサイズ、その他の問題パラメータの関数として、複数のksd薄型化の設定の収束と複雑性のトレードオフを確立する。 最後に, オンライン非パラメトリックベイズ法との比較を行い, 低複雑度後部表現を生成し, 優れた一貫性/複雑度トレードオフを観測する。 コードはgithub.com/colehawkins/KSD-Thinningで入手できる。

関連論文リスト

• Sinkhorn Distance Minimization for Knowledge Distillation [97.64216712016571]
  知識蒸留(KD)は大規模言語モデル(LLM)の圧縮に広く採用されている。 本稿では,上述のKL,RKL,JSの発散が,それぞれモード緩和,モード崩壊,モード下推定といった問題に悩まされていることを示す。 本研究では,Sinkhorn 距離を利用した Sinkhorn Knowledge Distillation (SinKD) を提案する。
  論文  参考訳（メタデータ） (2024-02-27T01:13:58Z)
• Bayesian Decision Trees Inspired from Evolutionary Algorithms [64.80360020499555]
  我々は、マルコフ連鎖モンテカルロ(MCMC)を本質的に並列なアルゴリズムであるシーケンシャルモンテカルロ(SMC)に置き換えることを提案する。 実験により、SMCと進化的アルゴリズム(EA)を組み合わせることで、MCMCの100倍のイテレーションでより正確な結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-05-30T06:17:35Z)
• Bayesian Pseudo-Coresets via Contrastive Divergence [5.479797073162603]
  対照的な発散を利用して擬似コアセットを構築するための新しい手法を提案する。 これは擬似コアセット構築プロセスにおける近似の必要性を排除する。 複数のデータセットに対して広範な実験を行い、既存のBPC技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T17:13:50Z)
• Preconditioned Score-based Generative Models [49.88840603798831]
  直感的な加速度法はサンプリングの繰り返しを減らし、しかしながら重大な性能劣化を引き起こす。 本稿では,行列プレコンディショニングを利用したモデル非依存型bfem事前条件拡散サンプリング(PDS)手法を提案する。 PDSは、バニラSGMのサンプリングプロセスを限界余剰計算コストで変更し、モデルの再訓練を行わない。
  論文  参考訳（メタデータ） (2023-02-13T16:30:53Z)
• Controlling Moments with Kernel Stein Discrepancies [74.82363458321939]
  Kernel Steindisrepancies (KSD) は分布近似の品質を測定する。 まず、弱収束制御に使用される標準KSDがモーメント収束制御に失敗することを示す。 次に、代替拡散KSDがモーメントと弱収束の両方を制御できる十分な条件を提供する。
  論文  参考訳（メタデータ） (2022-11-10T08:24:52Z)
• Online Probabilistic Model Identification using Adaptive Recursive MCMC [8.465242072268019]
  適応再帰的マルコフ連鎖モンテカルロ法(ARMCMC)を提案する。 モデルパラメータの確率密度関数全体を計算しながら、従来のオンライン手法の欠点を解消する。 本研究では,ソフト曲げアクチュエータとハント・クロスリー動的モデルを用いてパラメータ推定を行った。
  論文  参考訳（メタデータ） (2022-10-23T02:06:48Z)
• Targeted Separation and Convergence with Kernel Discrepancies [61.973643031360254]
  カーネルベースの不一致測度は、(i)ターゲットPを他の確率測度から分離するか、(ii)Pへの弱収束を制御する必要がある。 本稿では, (i) と (ii) を保証するのに十分な,必要な新しい条件を導出する。 可分距離空間上のMDDに対して、ボヒナー埋め込み可測度を分離するカーネルを特徴づけ、すべての測度を非有界カーネルと分離するための単純な条件を導入する。
  論文  参考訳（メタデータ） (2022-09-26T16:41:16Z)
• MCMC Variational Inference via Uncorrected Hamiltonian Annealing [42.26118870861363]
  本稿では,非修正ハミルトンMCMCを用いたAISライクな手法のフレームワークを提案する。 我々の手法は、log Z 上の厳密で微分可能な下界につながる。
  論文  参考訳（メタデータ） (2021-07-08T23:59:45Z)
• Stochastic Gradient MCMC with Multi-Armed Bandit Tuning [2.2559617939136505]
  本稿では,SGMCMCハイパーパラメータを調整し,後部近似の精度を最大化するバンディットに基づく新しいアルゴリズムを提案する。 シミュレーションと実データの両方で実験を行い,本手法が広範囲の応用分野に適用可能であることを確認した。
  論文  参考訳（メタデータ） (2021-05-27T11:00:31Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。