論文の概要: On Divergence Measures for Bayesian Pseudocoresets

• arxiv url: http://arxiv.org/abs/2210.06205v1
• Date: Wed, 12 Oct 2022 13:45:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 15:23:30.125721
• Title: On Divergence Measures for Bayesian Pseudocoresets
• Title（参考訳）: ベイズ擬核集合の発散測度について
• Authors: Balhae Kim, Jungwon Choi, Seanie Lee, Yoonho Lee, Jung-Woo Ha, Juho Lee
• Abstract要約: ベイズ擬似コアセット(Bayesian pseudocoreset)は、後方のパラメータが元のデータセットと近似する小さな合成データセットである。 本稿では,擬似コアセット構築法に対する近似として2つの代表的なデータセット蒸留アルゴリズムを提案する。 ベイズ擬コアセット構成におけるそのような発散対策の統一的な視点を提供する。
• 参考スコア（独自算出の注目度）: 28.840995981326028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A Bayesian pseudocoreset is a small synthetic dataset for which the posterior over parameters approximates that of the original dataset. While promising, the scalability of Bayesian pseudocoresets is not yet validated in realistic problems such as image classification with deep neural networks. On the other hand, dataset distillation methods similarly construct a small dataset such that the optimization using the synthetic dataset converges to a solution with performance competitive with optimization using full data. Although dataset distillation has been empirically verified in large-scale settings, the framework is restricted to point estimates, and their adaptation to Bayesian inference has not been explored. This paper casts two representative dataset distillation algorithms as approximations to methods for constructing pseudocoresets by minimizing specific divergence measures: reverse KL divergence and Wasserstein distance. Furthermore, we provide a unifying view of such divergence measures in Bayesian pseudocoreset construction. Finally, we propose a novel Bayesian pseudocoreset algorithm based on minimizing forward KL divergence. Our empirical results demonstrate that the pseudocoresets constructed from these methods reflect the true posterior even in high-dimensional Bayesian inference problems.
• Abstract（参考訳）: ベイズ擬似コアセット(Bayesian pseudocoreset)は、後方のパラメータが元のデータセットと近似する小さな合成データセットである。 有望ではあるが、ディープニューラルネットワークによる画像分類のような現実的な問題では、ベイジアン擬似コアセットのスケーラビリティはまだ検証されていない。 一方、データセット蒸留法も同様に小さなデータセットを構築し、合成データセットを用いた最適化は、フルデータによる最適化と競合する性能を持つソリューションに収束する。 大規模環境では,データセットの蒸留が実証的に検証されているが,このフレームワークは推定点に制限されており,ベイズ推定への適応は検討されていない。 本稿では,2つの代表的なデータセット蒸留アルゴリズムを,逆KL分散とワッサーシュタイン距離を最小化して擬似コアセットを構築する手法に近似した。 さらに、ベイズ擬似コアセット構成におけるそのような発散対策の統一的な視点を提供する。 最後に,前方kl発散を最小化するベイズ型擬似コアセットアルゴリズムを提案する。 実験の結果,これらの手法から構築した擬似コア集合は,高次元ベイズ推定問題においても真の後方を反映することが示された。

関連論文リスト

• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• Function Space Bayesian Pseudocoreset for Bayesian Neural Networks [16.952160718249292]
  ベイズ擬似コアセット(Bayesian pseudocoreset)は、大規模データセットの基本情報を要約したコンパクトな合成データセットである。 本稿では,関数空間上で動作する新しいベイズ擬似コアセット構築法を提案する。 関数空間を直接扱うことで、重み空間で作業する際に生じるいくつかの課題を回避できる。
  論文  参考訳（メタデータ） (2023-10-27T02:04:31Z)
• Bayesian Pseudo-Coresets via Contrastive Divergence [5.479797073162603]
  対照的な発散を利用して擬似コアセットを構築するための新しい手法を提案する。 これは擬似コアセット構築プロセスにおける近似の必要性を排除する。 複数のデータセットに対して広範な実験を行い、既存のBPC技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T17:13:50Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• Bayesian inference via sparse Hamiltonian flows [16.393322369105864]
  ベイジアンコアセット(Bayesian coreset)は、ベイジアン推論中に全データセットを置き換える、小さな重み付きデータサブセットである。 現在の手法は遅い傾向にあり、コアセットの構築後に二次的な推論ステップが必要であり、データ限界の証拠には限界がない。 これら3つの課題に対処する新しい手法、スパース・ハミルトン流を導入する。
  論文  参考訳（メタデータ） (2022-03-11T02:36:59Z)
• Semiparametric Bayesian Networks [5.205440005969871]
  パラメトリックおよび非パラメトリック条件付き確率分布を組み合わせた半パラメトリックベイズネットワークを提案する。 彼らの目的は、パラメトリックモデルの有界複雑性と非パラメトリックモデルの柔軟性を統合することである。
  論文  参考訳（メタデータ） (2021-09-07T11:47:32Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• Bayesian Coresets: Revisiting the Nonconvex Optimization Perspective [30.963638533636352]
  コアセット選択のための新しいアルゴリズムを提案し,解析する。 本研究では,様々なベンチマークデータセットに対して,明示的な収束率保証と経験的評価を行う。
  論文  参考訳（メタデータ） (2020-07-01T19:34:59Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。