論文の概要: Batch norm with entropic regularization turns deterministic autoencoders into generative models

• arxiv url: http://arxiv.org/abs/2002.10631v2
• Date: Wed, 22 Sep 2021 00:51:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 20:35:31.738993
• Title: Batch norm with entropic regularization turns deterministic autoencoders into generative models
• Title（参考訳）: エントロピー正規化を伴うバッチノルムは決定論的オートエンコーダを生成モデルに変換する
• Authors: Amur Ghose, Abdullah Rashwan, Pascal Poupart
• Abstract要約: 変分オートエンコーダはよく定義された深部生成モデルである。 本研究では、非決定論の情報源としてバッチ正規化を利用することで、決定論的オートエンコーダを生成モデルに変換するのに十分であることを示す。
• 参考スコア（独自算出の注目度）: 14.65554816300632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The variational autoencoder is a well defined deep generative model that utilizes an encoder-decoder framework where an encoding neural network outputs a non-deterministic code for reconstructing an input. The encoder achieves this by sampling from a distribution for every input, instead of outputting a deterministic code per input. The great advantage of this process is that it allows the use of the network as a generative model for sampling from the data distribution beyond provided samples for training. We show in this work that utilizing batch normalization as a source for non-determinism suffices to turn deterministic autoencoders into generative models on par with variational ones, so long as we add a suitable entropic regularization to the training objective.
• Abstract（参考訳）: 変分オートエンコーダは、ニューラルネットワークが入力を再構成するための非決定論的コードを出力するエンコーダ・デコーダフレームワークを利用する、よく定義された深部生成モデルである。 エンコーダは、入力毎に決定論的コードを出力するのではなく、入力毎の分布からサンプリングすることでこれを達成する。 このプロセスの最大の利点は、トレーニング用に提供されたサンプル以外のデータ分布からサンプリングする生成モデルとしてネットワークを使用することができることである。 本研究では, バッチ正規化を非決定論的十分性の源として利用し, 学習目標に適切なエントロピー正規化を加える限り, 決定論的オートエンコーダを変分モデルと同等の生成モデルに変換することを示す。

関連論文リスト

• Generative Autoencoding of Dropout Patterns [11.965844936801801]
  本稿では,デ暗号オートエンコーダと呼ばれる生成モデルを提案する。 トレーニングデータセットの各データポイントに、ユニークなランダムなドロップアウトパターンを割り当てます。 次に、オートエンコーダをトレーニングして、このパターンを符号化する情報として、対応するデータポイントを再構築する。
  論文  参考訳（メタデータ） (2023-10-03T00:54:13Z)
• Are We Using Autoencoders in a Wrong Way? [3.110260251019273]
  オートエンコーダは次元減少、異常検出、特徴抽出に使用される。 潜在空間の形状を変更する不完全なオートエンコーダの標準トレーニングを再考した。 また,データセット全体からランダムサンプルを再構成する場合の潜伏空間の挙動についても検討した。
  論文  参考訳（メタデータ） (2023-09-04T11:22:43Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
  可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。 本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。 実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
  論文  参考訳（メタデータ） (2022-08-23T03:56:30Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• End-to-End Synthetic Data Generation for Domain Adaptation of Question Answering Systems [34.927828428293864]
  本モデルでは,1つのトランスをベースとしたエンコーダデコーダネットワークをエンドツーエンドにトレーニングし,問合せと問合せの両方を生成する。 簡単に言えば、エンコーダにパスを与え、デコーダに質問と回答トークンをtokenで生成するよう依頼する。
  論文  参考訳（メタデータ） (2020-10-12T21:10:18Z)
• Variance Constrained Autoencoding [0.0]
  エンコーダの場合、同時に分布制約を強制し、出力歪みを最小化しようとすると、生成的および再構成的品質が低下することを示す。 本稿では,分散制約のみを適用した分散制約付きオートエンコーダ(VCAE)を提案する。 実験の結果,VCAEは,MNISTとCelebAの再構成および生成品質において,ワッサースタインオートエンコーダと変分オートエンコーダを改良することがわかった。
  論文  参考訳（メタデータ） (2020-05-08T00:50:50Z)
• On Sparsifying Encoder Outputs in Sequence-to-Sequence Models [90.58793284654692]
  我々はTransformerをテストベッドとして、エンコーダとデコーダの間にあるゲートの層を導入します。 ゲートは、パリシティ誘導L0ペナルティの期待値を用いて正規化される。 このスペーサー化が2つの機械翻訳と2つの要約タスクに与える影響について検討する。
  論文  参考訳（メタデータ） (2020-04-24T16:57:52Z)
• Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
  本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。 我々は,再建基準の代替として,異常スコアの代替尺度を提案した。 提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-24T08:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。