論文の概要: Benign Autoencoders

• arxiv url: http://arxiv.org/abs/2210.00637v1
• Date: Sun, 2 Oct 2022 21:36:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 13:48:01.890685
• Title: Benign Autoencoders
• Title（参考訳）: 良性オートエンコーダ
• Authors: Semyon Malamud, Andreas Schrimpf, Andrea Xu, Giuseppe Matera and Antoine Didisheim
• Abstract要約: 現代の機械学習アルゴリズムは次元還元による効率的なデータ処理と圧縮に依存している。 我々は、"悪性"データ次元を圧縮することにより、"悪性"データ次元が学習をより安定し、堅牢にすることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of modern machine learning algorithms depends crucially on efficient data representation and compression through dimensionality reduction. This practice seemingly contradicts the conventional intuition suggesting that data processing always leads to information loss. We prove that this intuition is wrong. For any non-convex problem, there exists an optimal, benign auto-encoder (BAE) extracting a lower-dimensional data representation that is strictly beneficial: Compressing model inputs improves model performance. We prove that BAE projects data onto a manifold whose dimension is the compressibility dimension of the learning model. We develop and implement an efficient algorithm for computing BAE and show that BAE improves model performance in every dataset we consider. Furthermore, by compressing "malignant" data dimensions, BAE makes learning more stable and robust.
• Abstract（参考訳）: 現代の機械学習アルゴリズムの成功は、次元還元による効率的なデータ表現と圧縮に大きく依存する。 この慣習は、データ処理が常に情報損失につながるという従来の直観と矛盾している。 私たちはこの直観が間違っていることを証明します。 任意の非凸問題に対して、モデル入力の圧縮によりモデル性能が向上する、より低い次元のデータ表現を抽出する最適な良性オートエンコーダ(bae)が存在する。 我々はBAEが学習モデルの圧縮性次元である多様体にデータを投影していることを証明する。 我々は、BAEの効率的な計算アルゴリズムを開発し、実装し、BAEが検討するデータセットのモデル性能を改善することを示す。 さらに、"悪性"データ次元を圧縮することで、BAEは学習をより安定して堅牢にする。

関連論文リスト

• Unified Generation, Reconstruction, and Representation: Generalized Diffusion with Adaptive Latent Encoding-Decoding [90.77521413857448]
  深層生成モデルは,3つのコア機能 – 新たなインスタンスの生成,入力の再構築,コンパクト表現の学習 – に固定されている。 一般化逆変換拡散確率モデル(EDDPM)を導入する。 EDDPMはパラメタライズされた符号化復号を導入することで標準拡散におけるガウス雑音化を一般化する。 テキスト、タンパク質、画像の実験は、多様なデータやタスクを扱う柔軟性を示している。
  論文  参考訳（メタデータ） (2024-02-29T10:08:57Z)
• Concurrent Density Estimation with Wasserstein Autoencoders: Some Statistical Insights [20.894503281724052]
  ワッサースタインオートエンコーダ(Wasserstein Autoencoders、WAE)は、深層生成モデルの領域における先駆的な力である。 我々の研究は、WAEの背後にある機械の理論的理解を提供する試みである。
  論文  参考訳（メタデータ） (2023-12-11T18:27:25Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
  可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。 本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。 実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
  論文  参考訳（メタデータ） (2022-08-23T03:56:30Z)
• Closing the gap: Exact maximum likelihood training of generative autoencoders using invertible layers [7.76925617801895]
  VAE方式のオートエンコーダは非可逆層を用いて構築可能であることを示す。 これは、エンコーダ、デコーダ、および以前のアーキテクチャの選択において完全な自由を残しながら達成される。 この手法は,ログライクリフ,サンプル品質,デノーミング性能の観点から,アーキテクチャ的に等価なVAEよりも著しく高い性能を示す。
  論文  参考訳（メタデータ） (2022-05-19T13:16:09Z)
• On the Encoder-Decoder Incompatibility in Variational Text Modeling and Beyond [82.18770740564642]
  変分オートエンコーダ(VAE)は、潜時変数と償却変分推論を結合する。 我々は,データ多様体のパラメータ化が不十分なエンコーダ・デコーダの不整合性を観察する。 同一構造を持つ決定論的オートエンコーダとVAEモデルを結合した結合型VAEを提案する。
  論文  参考訳（メタデータ） (2020-04-20T10:34:10Z)
• Discovering Representations for Black-box Optimization [73.59962178534361]
  ブラックボックス最適化符号化は手作業で行うのではなく,自動的に学習可能であることを示す。 学習された表現は、標準的なMAP-Elitesよりも桁違いに少ない評価で高次元の問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-03-09T20:06:20Z)
• Deterministic Decoding for Discrete Data in Variational Autoencoders [5.254093731341154]
  サンプリングの代わりに最上位のトークンを選択するシーケンシャルデータに対して,決定論的デコーダ(DD-VAE)を用いたVAEモデルについて検討する。 分子生成や最適化問題を含む複数のデータセット上でのDD-VAEの性能を示す。
  論文  参考訳（メタデータ） (2020-03-04T16:36:52Z)
• Learning Autoencoders with Relational Regularization [89.53065887608088]
  データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。 エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする 我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
  論文  参考訳（メタデータ） (2020-02-07T17:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。