論文の概要: Benign Autoencoders

• arxiv url: http://arxiv.org/abs/2210.00637v3
• Date: Fri, 19 May 2023 11:54:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 19:43:11.528889
• Title: Benign Autoencoders
• Title（参考訳）: 良性オートエンコーダ
• Authors: Semyon Malamud, Teng Andrea Xu, Giuseppe Matera and Antoine Didisheim
• Abstract要約: 我々は最適なエンコーダとデコーダのペアを見つける問題を定式化し、その解を「良性オートエンコーダ」(BAE)と呼ぶ。 我々は、BAEが生成問題の最適圧縮性次元である多様体にデータを投影することを証明した。 実例として,分散シフト下での識別器の性能を向上させるために,BAEが最適で低次元の潜在表現を見出す方法を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in Generative Artificial Intelligence (AI) relies on efficient data representations, often featuring encoder-decoder architectures. We formalize the mathematical problem of finding the optimal encoder-decoder pair and characterize its solution, which we name the "benign autoencoder" (BAE). We prove that BAE projects data onto a manifold whose dimension is the optimal compressibility dimension of the generative problem. We highlight surprising connections between BAE and several recent developments in AI, such as conditional GANs, context encoders, stable diffusion, stacked autoencoders, and the learning capabilities of generative models. As an illustration, we show how BAE can find optimal, low-dimensional latent representations that improve the performance of a discriminator under a distribution shift. By compressing "malignant" data dimensions, BAE leads to smoother and more stable gradients.
• Abstract（参考訳）: 生成人工知能(AI)の最近の進歩は、エンコーダ-デコーダアーキテクチャを特徴とする効率的なデータ表現に依存している。 最適なエンコーダ-デコーダペアを見つけ、その解を特徴付ける数学的問題を定式化し、これを「良性オートエンコーダ」(bae)と呼ぶ。 BAEが生成問題の最適圧縮性次元である多様体にデータを投影することを証明する。 我々は、条件付きgan、コンテキストエンコーダ、安定した拡散、スタック付きオートエンコーダ、生成モデルの学習能力など、aiにおけるbaeと最近のいくつかの開発との間の驚くべき関係に注目した。 例として,分布シフト下での判別器の性能を向上させるために,baeが最適かつ低次元の潜在表現を見出す方法を示す。 データの次元を圧縮することで、BAEはより滑らかで安定した勾配をもたらす。

関連論文リスト

• Unified Generation, Reconstruction, and Representation: Generalized Diffusion with Adaptive Latent Encoding-Decoding [90.77521413857448]
  深層生成モデルは,3つのコア機能 – 新たなインスタンスの生成,入力の再構築,コンパクト表現の学習 – に固定されている。 一般化逆変換拡散確率モデル(EDDPM)を導入する。 EDDPMはパラメタライズされた符号化復号を導入することで標準拡散におけるガウス雑音化を一般化する。 テキスト、タンパク質、画像の実験は、多様なデータやタスクを扱う柔軟性を示している。
  論文  参考訳（メタデータ） (2024-02-29T10:08:57Z)
• Concurrent Density Estimation with Wasserstein Autoencoders: Some Statistical Insights [20.894503281724052]
  ワッサースタインオートエンコーダ(Wasserstein Autoencoders、WAE)は、深層生成モデルの領域における先駆的な力である。 我々の研究は、WAEの背後にある機械の理論的理解を提供する試みである。
  論文  参考訳（メタデータ） (2023-12-11T18:27:25Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
  可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。 本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。 実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
  論文  参考訳（メタデータ） (2022-08-23T03:56:30Z)
• Closing the gap: Exact maximum likelihood training of generative autoencoders using invertible layers [7.76925617801895]
  VAE方式のオートエンコーダは非可逆層を用いて構築可能であることを示す。 これは、エンコーダ、デコーダ、および以前のアーキテクチャの選択において完全な自由を残しながら達成される。 この手法は,ログライクリフ,サンプル品質,デノーミング性能の観点から,アーキテクチャ的に等価なVAEよりも著しく高い性能を示す。
  論文  参考訳（メタデータ） (2022-05-19T13:16:09Z)
• On the Encoder-Decoder Incompatibility in Variational Text Modeling and Beyond [82.18770740564642]
  変分オートエンコーダ(VAE)は、潜時変数と償却変分推論を結合する。 我々は,データ多様体のパラメータ化が不十分なエンコーダ・デコーダの不整合性を観察する。 同一構造を持つ決定論的オートエンコーダとVAEモデルを結合した結合型VAEを提案する。
  論文  参考訳（メタデータ） (2020-04-20T10:34:10Z)
• Discovering Representations for Black-box Optimization [73.59962178534361]
  ブラックボックス最適化符号化は手作業で行うのではなく,自動的に学習可能であることを示す。 学習された表現は、標準的なMAP-Elitesよりも桁違いに少ない評価で高次元の問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-03-09T20:06:20Z)
• Deterministic Decoding for Discrete Data in Variational Autoencoders [5.254093731341154]
  サンプリングの代わりに最上位のトークンを選択するシーケンシャルデータに対して,決定論的デコーダ(DD-VAE)を用いたVAEモデルについて検討する。 分子生成や最適化問題を含む複数のデータセット上でのDD-VAEの性能を示す。
  論文  参考訳（メタデータ） (2020-03-04T16:36:52Z)
• Learning Autoencoders with Relational Regularization [89.53065887608088]
  データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。 エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする 我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
  論文  参考訳（メタデータ） (2020-02-07T17:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。