論文の概要: ByPE-VAE: Bayesian Pseudocoresets Exemplar VAE

• arxiv url: http://arxiv.org/abs/2107.09286v1
• Date: Tue, 20 Jul 2021 07:02:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 14:55:54.685573
• Title: ByPE-VAE: Bayesian Pseudocoresets Exemplar VAE
• Title（参考訳）: ByPE-VAE:Bayesian Pseudocoresets Exemplar VAE
• Authors: Qingzhong Ai, Lirong He, Shiyu Liu, Zenglin Xu
• Abstract要約: 本稿では,ベイズ擬似コアセットに基づく新たなVAEの変種であるExemplar VAE(ByPE-VAE)を提案する。 ByPE-VAEは, 密度推定, 表現学習, 生成データ拡張といったタスクにおいて, 最先端のVAEよりも競争力の向上を達成できることを示す。
• 参考スコア（独自算出の注目度）: 18.832764075388848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies show that advanced priors play a major role in deep generative models. Exemplar VAE, as a variant of VAE with an exemplar-based prior, has achieved impressive results. However, due to the nature of model design, an exemplar-based model usually requires vast amounts of data to participate in training, which leads to huge computational complexity. To address this issue, we propose Bayesian Pseudocoresets Exemplar VAE (ByPE-VAE), a new variant of VAE with a prior based on Bayesian pseudocoreset. The proposed prior is conditioned on a small-scale pseudocoreset rather than the whole dataset for reducing the computational cost and avoiding overfitting. Simultaneously, we obtain the optimal pseudocoreset via a stochastic optimization algorithm during VAE training aiming to minimize the Kullback-Leibler divergence between the prior based on the pseudocoreset and that based on the whole dataset. Experimental results show that ByPE-VAE can achieve competitive improvements over the state-of-the-art VAEs in the tasks of density estimation, representation learning, and generative data augmentation. Particularly, on a basic VAE architecture, ByPE-VAE is up to 3 times faster than Exemplar VAE while almost holding the performance. Code is available at our supplementary materials.
• Abstract（参考訳）: 近年の研究では、先進的な先行が深層発生モデルにおいて重要な役割を担っていることが示されている。 exemplar vaeは、exemplarベースの以前のvaeの変種として、素晴らしい結果を得た。 しかし、モデル設計の性質のため、模範的なモデルは通常、トレーニングに参加するのに大量のデータを必要とするため、計算が複雑になる。 この問題に対処するため,ベイジアン擬似コアセットに基づく新しいVAEの変種であるBayesian Pseudocoresets Exemplar VAE (ByPE-VAE)を提案する。 提案手法は,計算コストの低減とオーバーフィッティングの回避のために,データセット全体ではなく,小規模の擬似コアセットに条件付けされている。 同時に、擬似コアセットとデータセット全体に基づくKulback-Leibler分散の最小化を目的としたVAEトレーニング中に、確率最適化アルゴリズムを用いて最適な擬似コアセットを得る。 実験結果から,BYPE-VAEは,密度推定,表現学習,生成データ拡張といったタスクにおいて,最先端のVAEよりも競争力の向上を達成できることが示された。 特にベーシックなVAEアーキテクチャでは、ByPE-VAEはExemplar VAEの最大3倍の速度で性能を保っている。 コードは補足資料で利用可能です。

関連論文リスト

• A Bayesian Approach to Data Point Selection [24.98069363998565]
  データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。 既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。 DPSに対する新しいベイズ的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:04:13Z)
• Variational Bayes image restoration with compressive autoencoders [4.879530644978008]
  逆問題の正規化は、計算イメージングにおいて最重要となる。 本研究では,まず,最先端生成モデルの代わりに圧縮型オートエンコーダを提案する。 第2の貢献として、変分ベイズ潜時推定(VBLE)アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-11-29T15:49:31Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• Exponentially Tilted Gaussian Prior for Variational Autoencoder [3.52359746858894]
  近年の研究では, この課題に対して確率的生成モデルが不十分であることが示されている。 変分オートエンコーダ(VAE)の指数傾斜ガウス事前分布を提案する。 本モデルでは,標準ガウスVAEよりクオリティの高い画像サンプルが得られた。
  論文  参考訳（メタデータ） (2021-11-30T18:28:19Z)
• Bigeminal Priors Variational auto-encoder [5.430048915427229]
  変分自動エンコーダ(VAEs)は、教師なし学習における可能性に基づく生成モデルに影響を及ぼし、一般的に使用される。 本稿では,この現象に対処するための新しいモデル,すなわちBigeminal Priors Variational Auto-Encoder(BPVAE)を提案する。 BPVAEは2つのデータセットの特徴を学習し、単純なデータセットよりもトレーニングデータセットの可能性が高くなる。
  論文  参考訳（メタデータ） (2020-10-05T07:10:52Z)
• Fast, Accurate, and Simple Models for Tabular Data via Augmented Distillation [97.42894942391575]
  本研究では、FAST-DADを用いて、任意の複雑なアンサンブル予測を、高木、無作為林、深層ネットワークなどの個々のモデルに抽出する。 我々の個々の蒸留モデルは、H2O/AutoSklearnのようなAutoMLツールが生成するアンサンブル予測よりも10倍高速で精度が高い。
  論文  参考訳（メタデータ） (2020-06-25T09:57:47Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Cheaper Pre-training Lunch: An Efficient Paradigm for Object Detection [86.0580214485104]
  本稿では,オブジェクト検出のための汎用的で効率的な事前学習パラダイムであるMontage事前学習を提案する。 Montage事前トレーニングは、ターゲット検出データセットのみを必要とするが、広く採用されているImageNet事前トレーニングと比較して、計算リソースは1/4しかない。 モンタージュ事前学習の効率と有効性は、MS-COCOデータセットの広範な実験によって検証される。
  論文  参考訳（メタデータ） (2020-04-25T16:09:46Z)
• Exemplar VAE: Linking Generative Models, Nearest Neighbor Retrieval, and Data Augmentation [42.50518491072227]
  本稿では,パラメトリックモデルと非パラメトリックモデルとのギャップを埋める生成モデルであるExemplar VAEを紹介する。 そこからサンプルを抽出するために、まずトレーニングセットからランダムな例を描画し、次に変分してその例を潜在コードに変換する。 Exemplar VAEが密度推定および表現学習に与える影響を実証した。
  論文  参考訳（メタデータ） (2020-04-09T20:21:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。