論文の概要: Constructing Bayesian Pseudo-Coresets using Contrastive Divergence
- arxiv url: http://arxiv.org/abs/2303.11278v1
- Date: Mon, 20 Mar 2023 17:13:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 14:22:28.192079
- Title: Constructing Bayesian Pseudo-Coresets using Contrastive Divergence
- Title(参考訳): Contrastive Divergence を用いたベイズ擬似コアセットの構成
- Authors: Piyush Tiwary, Kumar Shubham, Vivek Kashyap and Prathosh A.P
- Abstract要約: 本稿では,原データと合成データに関連付けられた後部部分の最小化を課題とする。
我々は、合成集合を学習し、この損失を推定する単純かつ効率的な方法を示すために、対照的な発散様損失関数を導出する。
複数のデータセットに対する実験により,提案手法は従来のBPC手法よりも優れるだけでなく,データセットの凝縮に匹敵する性能が得られることが示された。
- 参考スコア(独自算出の注目度): 4.3050999548206175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian Pseudo-Coreset (BPC) and Dataset Condensation are two parallel
streams of work that construct a synthetic set such that, a model trained
independently on this synthetic set, yields the same performance as training on
the original training set. While dataset condensation methods use non-bayesian,
heuristic ways to construct such a synthetic set, BPC methods take a bayesian
approach and formulate the problem as divergence minimization between
posteriors associated with original data and synthetic data. However, BPC
methods generally rely on distributional assumptions on these posteriors which
makes them less flexible and hinders their performance. In this work, we
propose to solve these issues by modeling the posterior associated with
synthetic data by an energy-based distribution. We derive a
contrastive-divergence-like loss function to learn the synthetic set and show a
simple and efficient way to estimate this loss. Further, we perform rigorous
experiments pertaining to the proposed method. Our experiments on multiple
datasets show that the proposed method not only outperforms previous BPC
methods but also gives performance comparable to dataset condensation
counterparts.
- Abstract(参考訳): ベイズ的擬似コアセット(Bayesian Pseudo-Coreset, BPC)とデータセット凝縮(Dataset Condensation)は、合成集合を構成する2つの並列な作業ストリームであり、この合成集合に対して独立に訓練されたモデルが、元のトレーニングセットでのトレーニングと同じパフォーマンスを得る。
データセットの凝縮法は非ベイズ的でヒューリスティックな方法で合成集合を構築するが、BPC法はベイズ的アプローチを採用し、元のデータと合成データに関連付けられた後続データ間の分散最小化として問題を定式化する。
しかしながら、BPC法は一般にこれらの後部への分布的仮定に依存しており、柔軟性が低く、性能を損なう。
本研究では,エネルギーベース分布を用いて合成データに付随する後部をモデル化することにより,これらの問題を解決することを提案する。
合成集合を学習するために、コントラスト・ディバージェンスのような損失関数を導出し、この損失をシンプルかつ効率的に見積もる方法を示す。
さらに,提案手法に関する厳密な実験を行った。
複数のデータセットに対する実験により,提案手法は従来のBPC手法よりも優れるだけでなく,データセットの凝縮に匹敵する性能が得られることが示された。
関連論文リスト
- Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳(メタデータ) (2023-07-19T04:07:33Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Transport with Support: Data-Conditional Diffusion Bridges [18.933928516349397]
制約付き時系列データ生成タスクを解決するために,Iterative Smoothing Bridge (ISB)を導入する。
我々は,ISBが高次元データによく一般化し,計算効率が高く,中間時間と終時間における限界値の正確な推定値を提供することを示した。
論文 参考訳(メタデータ) (2023-01-31T13:50:16Z) - On Divergence Measures for Bayesian Pseudocoresets [28.840995981326028]
ベイズ擬似コアセット(Bayesian pseudocoreset)は、後方のパラメータが元のデータセットと近似する小さな合成データセットである。
本稿では,擬似コアセット構築法に対する近似として2つの代表的なデータセット蒸留アルゴリズムを提案する。
ベイズ擬コアセット構成におけるそのような発散対策の統一的な視点を提供する。
論文 参考訳(メタデータ) (2022-10-12T13:45:36Z) - Learn from Unpaired Data for Image Restoration: A Variational Bayes
Approach [18.007258270845107]
境界分布から抽出したデータから結合確率密度関数を学習するための深層生成法 LUD-VAE を提案する。
本稿では,LUD-VAEによって生成された合成データを用いて,実世界の画像認識と超分解能タスクに適用し,モデルを訓練する。
論文 参考訳(メタデータ) (2022-04-21T13:27:17Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳(メタデータ) (2022-03-03T05:58:49Z) - MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood
Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。
あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。
モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文 参考訳(メタデータ) (2021-06-03T12:59:16Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-31T23:46:32Z) - Robust Correction of Sampling Bias Using Cumulative Distribution
Functions [19.551668880584973]
変数ドメインとバイアス付きデータセットは、トレーニングとターゲット分布の違いにつながる可能性がある。
これを緩和するための現在のアプローチは、しばしばトレーニングとターゲット確率密度関数の比率を推定することに依存する。
論文 参考訳(メタデータ) (2020-10-23T22:13:00Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳(メタデータ) (2020-07-13T03:27:45Z) - A Unified Framework for Coupled Tensor Completion [42.19293115131073]
結合テンソル分解は、潜在結合因子に由来する事前知識を組み込むことで、結合データ構造を明らかにする。
TRは強力な表現能力を持ち、いくつかの多次元データ処理アプリケーションで成功している。
提案手法は, 合成データに関する数値実験で検証され, 実世界のデータに対する実験結果は, 回収精度の観点から, 最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-01-09T02:15:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。