論文の概要: Constructing Bayesian Pseudo-Coresets using Contrastive Divergence

• arxiv url: http://arxiv.org/abs/2303.11278v1
• Date: Mon, 20 Mar 2023 17:13:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 14:22:28.192079
• Title: Constructing Bayesian Pseudo-Coresets using Contrastive Divergence
• Title（参考訳）: Contrastive Divergence を用いたベイズ擬似コアセットの構成
• Authors: Piyush Tiwary, Kumar Shubham, Vivek Kashyap and Prathosh A.P
• Abstract要約: 本稿では,原データと合成データに関連付けられた後部部分の最小化を課題とする。 我々は、合成集合を学習し、この損失を推定する単純かつ効率的な方法を示すために、対照的な発散様損失関数を導出する。 複数のデータセットに対する実験により,提案手法は従来のBPC手法よりも優れるだけでなく,データセットの凝縮に匹敵する性能が得られることが示された。
• 参考スコア（独自算出の注目度）: 4.3050999548206175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian Pseudo-Coreset (BPC) and Dataset Condensation are two parallel streams of work that construct a synthetic set such that, a model trained independently on this synthetic set, yields the same performance as training on the original training set. While dataset condensation methods use non-bayesian, heuristic ways to construct such a synthetic set, BPC methods take a bayesian approach and formulate the problem as divergence minimization between posteriors associated with original data and synthetic data. However, BPC methods generally rely on distributional assumptions on these posteriors which makes them less flexible and hinders their performance. In this work, we propose to solve these issues by modeling the posterior associated with synthetic data by an energy-based distribution. We derive a contrastive-divergence-like loss function to learn the synthetic set and show a simple and efficient way to estimate this loss. Further, we perform rigorous experiments pertaining to the proposed method. Our experiments on multiple datasets show that the proposed method not only outperforms previous BPC methods but also gives performance comparable to dataset condensation counterparts.
• Abstract（参考訳）: ベイズ的擬似コアセット(Bayesian Pseudo-Coreset, BPC)とデータセット凝縮(Dataset Condensation)は、合成集合を構成する2つの並列な作業ストリームであり、この合成集合に対して独立に訓練されたモデルが、元のトレーニングセットでのトレーニングと同じパフォーマンスを得る。 データセットの凝縮法は非ベイズ的でヒューリスティックな方法で合成集合を構築するが、BPC法はベイズ的アプローチを採用し、元のデータと合成データに関連付けられた後続データ間の分散最小化として問題を定式化する。 しかしながら、BPC法は一般にこれらの後部への分布的仮定に依存しており、柔軟性が低く、性能を損なう。 本研究では,エネルギーベース分布を用いて合成データに付随する後部をモデル化することにより,これらの問題を解決することを提案する。 合成集合を学習するために、コントラスト・ディバージェンスのような損失関数を導出し、この損失をシンプルかつ効率的に見積もる方法を示す。 さらに,提案手法に関する厳密な実験を行った。 複数のデータセットに対する実験により,提案手法は従来のBPC手法よりも優れるだけでなく,データセットの凝縮に匹敵する性能が得られることが示された。

関連論文リスト

• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• Divide-and-Conquer Posterior Sampling for Denoising Diffusion Priors [21.0128625037708]
  提案手法は, 分割・分散型後方サンプリング方式である。 これにより、再トレーニングを必要とせずに、現在のテクニックに関連する近似誤差を低減することができる。 ベイズ逆問題に対するアプローチの汎用性と有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T01:47:24Z)
• Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
  半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。 スパース・アンミキシングの代替手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-23T10:07:41Z)
• Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery [4.446017969073817]
  ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。 このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
  論文  参考訳（メタデータ） (2023-01-30T04:07:59Z)
• On Divergence Measures for Bayesian Pseudocoresets [28.840995981326028]
  ベイズ擬似コアセット(Bayesian pseudocoreset)は、後方のパラメータが元のデータセットと近似する小さな合成データセットである。 本稿では,擬似コアセット構築法に対する近似として2つの代表的なデータセット蒸留アルゴリズムを提案する。 ベイズ擬コアセット構成におけるそのような発散対策の統一的な視点を提供する。
  論文  参考訳（メタデータ） (2022-10-12T13:45:36Z)
• The split Gibbs sampler revisited: improvements to its algorithmic structure and augmented target distribution [1.1279808969568252]
  現在の最先端の手法は、後部密度を滑らかな近似で置き換えることによってこれらの問題に対処することが多い。 別のアプローチはデータ拡張と緩和に基づいており、補助変数を導入して近似的な拡張後分布を構築する。 本稿では,2つの戦略の利点を密結合した潜在空間SK-ROCKと呼ばれる,新しい加速近位MCMC法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T11:21:41Z)
• Posterior Coreset Construction with Kernelized Stein Discrepancy for Model-Based Reinforcement Learning [78.30395044401321]
  我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。 ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。 連続的な制御環境では、壁時計の時間を最大50%削減することができる。
  論文  参考訳（メタデータ） (2022-06-02T17:27:49Z)
• Improving Diffusion Models for Inverse Problems using Manifold Constraints [55.91148172752894]
  我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。 この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。 本手法は理論上も経験上も従来の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-02T09:06:10Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of Multimodal Posteriors [8.11978827493967]
  MCMCの並列実行, 変動型, モードベースの推論を用いて, できるだけ多くのモードをヒットさせる手法を提案する。 重み付き推論プロセスが真のデータを近似する例と理論的整合性を示す。 いくつかのモデルファミリで実践的な実装を示す。
  論文  参考訳（メタデータ） (2020-06-22T15:26:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。