論文の概要: To Regularize or Not To Regularize? The Bias Variance Trade-off in Regularized AEs

• arxiv url: http://arxiv.org/abs/2006.05838v2
• Date: Sat, 19 Sep 2020 10:56:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 04:13:29.902760
• Title: To Regularize or Not To Regularize? The Bias Variance Trade-off in Regularized AEs
• Title（参考訳）: 規則化するか、規則化しないか? 正規化AEにおけるバイアス変動トレードオフ
• Authors: Arnab Kumar Mondal, Himanshu Asnani, Parag Singla, Prathosh AP
• Abstract要約: AEモデルの生成決定論的品質に及ぼす潜伏剤の影響について検討する。 我々は、FlexAEと呼ばれるモデルが、AEベースの生成モデルのための新しい最先端技術であることを示します。
• 参考スコア（独自算出の注目度）: 10.611727286504994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularized Auto-Encoders (RAEs) form a rich class of neural generative models. They effectively model the joint-distribution between the data and the latent space using an Encoder-Decoder combination, with regularization imposed in terms of a prior over the latent space. Despite their advantages, such as stability in training, the performance of AE based models has not reached the superior standards as that of the other generative models such as Generative Adversarial Networks (GANs). Motivated by this, we examine the effect of the latent prior on the generation quality of deterministic AE models in this paper. Specifically, we consider the class of RAEs with deterministic Encoder-Decoder pairs, Wasserstein Auto-Encoders (WAE), and show that having a fixed prior distribution, \textit{a priori}, oblivious to the dimensionality of the `true' latent space, will lead to the infeasibility of the optimization problem considered. Further, we show that, in the finite data regime, despite knowing the correct latent dimensionality, there exists a bias-variance trade-off with any arbitrary prior imposition. As a remedy to both the issues mentioned above, we introduce an additional state space in the form of flexibly learnable latent priors, in the optimization objective of the WAEs. We implicitly learn the distribution of the latent prior jointly with the AE training, which not only makes the learning objective feasible but also facilitates operation on different points of the bias-variance curve. We show the efficacy of our model, called FlexAE, through several experiments on multiple datasets, and demonstrate that it is the new state-of-the-art for the AE based generative models.
• Abstract（参考訳）: 正規化オートエンコーダ(RAE)は、神経生成モデルの豊富なクラスを形成する。 彼らは、エンコーダとデコーダの組み合わせを用いて、データと潜在空間のジョイント分配を効果的にモデル化し、潜在空間に先行して規則化を課す。 訓練における安定性などの利点にもかかわらず、AEベースのモデルの性能はジェネレーティブ・アドバイサル・ネットワーク(GAN)のような他の生成モデルよりも優れている水準に達していない。 そこで本論文では,本論文における決定論的aeモデルの生成品質に及ぼす潜在性の影響について検討する。 具体的には、決定論的エンコーダ-デコーダ対(Wasserstein Auto-Encoder (WAE))を持つRAEのクラスを考察し、固定された事前分布である 'textit{a priori} を持つことは、'true' 潜在空間の次元性によらず、考慮された最適化問題の可能性をもたらすことを示す。 さらに, 有限データ構造において, 正の潜伏次元を知りながら, 任意の事前仮定によるバイアス分散トレードオフが存在することを示す。 上記の2つの問題に対する修正として、waesの最適化目的において、柔軟に学習可能な潜在前処理という形で追加の状態空間を導入する。 我々は,学習目標を実現するだけでなく,バイアス分散曲線の異なる点での操作を容易にするために,ae訓練と共同で潜在前駆者の分布を暗黙的に学習する。 複数のデータセットに対する実験を通じてFlexAEと呼ばれるモデルの有効性を示し、AEベースの生成モデルのための新しい最先端技術であることを示す。

関連論文リスト

• Effort: Efficient Orthogonal Modeling for Generalizable AI-Generated Image Detection [66.16595174895802]
  既存のAI生成画像(AIGI)検出手法は、しばしば限定的な一般化性能に悩まされる。 本稿では、AIGI検出において、これまで見過ごされてきた重要な非対称性現象を同定する。
  論文  参考訳（メタデータ） (2024-11-23T19:10:32Z)
• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Distributional Learning of Variational AutoEncoder: Application to Synthetic Data Generation [0.7614628596146602]
  本稿では,VAEフレームワークの計算上の利点を犠牲にすることなく,モデル容量を拡大する手法を提案する。 VAEモデルのデコーダは、非対称ラプラス分布の無限混合からなる。 提案したモデルを合成データ生成に適用し,特にデータプライバシの調整が容易であることを示す。
  論文  参考訳（メタデータ） (2023-02-22T11:26:50Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent Space Distribution Matching in WAE [51.09507030387935]
  Wasserstein autoencoder (WAE) は、2つの分布が一致することは、このAEの潜在空間が予め指定された事前分布と一致するという制約の下で、単純なオートエンコーダ(AE)損失を最小限にすることと同値であることを示している。 本稿では,この問題を解決する手段として,自己指導型表現学習に有効であることを示すコントラスト学習フレームワークを提案する。 WAEの損失を最適化するために、対照的な学習フレームワークを使用することで、WAEの一般的なアルゴリズムと比較して、より高速に収束し、より安定した最適化が達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-19T22:55:47Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Automatic Differentiation Variational Inference with Mixtures [4.995383193706478]
  本研究では, 混合分布を近似後部として利用するために, 層状サンプリングを用いる方法を示す。 我々は、重要重み付きオートエンコーダ(IWAE)に類似したエビデンスに基づく新しい下界を導出する。
  論文  参考訳（メタデータ） (2020-03-03T18:12:42Z)
• Counterfactual fairness: removing direct effects through regularization [0.0]
  制御ダイレクトエフェクト(CDE)による因果関係を考慮したフェアネスの新たな定義を提案する。 我々は古典的公正度対策に取り組むための正規化を開発し、新しい公正度定義を満たす因果正則化を示す。 その結果,モデル性能を低下させることなく,予測から不公平さを軽減できることが判明した。
  論文  参考訳（メタデータ） (2020-02-25T10:13:55Z)
• Regularized Autoencoders via Relaxed Injective Probability Flow [35.39933775720789]
  非可逆フローベース生成モデルは、抽出可能な確率計算と推論を可能にしながら、サンプルを生成するための効果的な方法である。 本稿では, モデル上の単射性要件を回避し, 単射性のみを仮定する確率フローに基づく生成モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-20T18:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。