論文の概要: Deep Autoencoders: From Understanding to Generalization Guarantees

• arxiv url: http://arxiv.org/abs/2009.09525v3
• Date: Wed, 24 Nov 2021 18:43:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 12:53:53.644576
• Title: Deep Autoencoders: From Understanding to Generalization Guarantees
• Title（参考訳）: 深層オートエンコーダ:理解から一般化保証まで
• Authors: Romain Cosentino, Randall Balestriero, Richard Baraniuk, Behnaam Aazhang
• Abstract要約: 我々は、Deep Autoencoders(AE)の根底にある現象をよりよく理解するための一歩を踏み出した。 特に、連続的なアフィン構造を利用して、AEsがデータ多様体を近似する方法を解釈する。 AEsがデータ固有の対称性をキャプチャできる2つの新しい正規化を導出する。
• 参考スコア（独自算出の注目度）: 17.180863761413004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A big mystery in deep learning continues to be the ability of methods to generalize when the number of model parameters is larger than the number of training examples. In this work, we take a step towards a better understanding of the underlying phenomena of Deep Autoencoders (AEs), a mainstream deep learning solution for learning compressed, interpretable, and structured data representations. In particular, we interpret how AEs approximate the data manifold by exploiting their continuous piecewise affine structure. Our reformulation of AEs provides new insights into their mapping, reconstruction guarantees, as well as an interpretation of commonly used regularization techniques. We leverage these findings to derive two new regularizations that enable AEs to capture the inherent symmetry in the data. Our regularizations leverage recent advances in the group of transformation learning to enable AEs to better approximate the data manifold without explicitly defining the group underlying the manifold. Under the assumption that the symmetry of the data can be explained by a Lie group, we prove that the regularizations ensure the generalization of the corresponding AEs. A range of experimental evaluations demonstrate that our methods outperform other state-of-the-art regularization techniques.
• Abstract（参考訳）: ディープラーニングの大きな謎は、モデルパラメータの数がトレーニングの例の数よりも大きい場合に、メソッドを一般化する能力である。 本研究では,圧縮,解釈可能,構造化データ表現を学習するための主流のディープラーニングソリューションであるdeep autoencoder(aes)の基盤となる現象をより深く理解するための一歩を踏み出す。 特に、連続的なアフィン構造を利用して、AEがデータ多様体を近似する方法を解釈する。 AEsの再構成は、マッピング、再構築保証、およびよく使われる正規化手法の解釈に関する新たな洞察を提供する。 これらの知見を利用して、AEsがデータ固有の対称性をキャプチャできる2つの新しい正規化を導出する。 我々の正規化は変換学習の群における最近の進歩を活用して、AEsが多様体の根底にある群を明確に定義することなく、データ多様体をよりよく近似できるようにする。 データの対称性がリー群によって説明できるという仮定の下で、正規化が対応するAEの一般化を保証することを証明している。 様々な実験結果から,本手法は他の正規化手法よりも優れていることが示された。

関連論文リスト

• Effort: Efficient Orthogonal Modeling for Generalizable AI-Generated Image Detection [66.16595174895802]
  既存のAI生成画像(AIGI)検出手法は、しばしば限定的な一般化性能に悩まされる。 本稿では、AIGI検出において、これまで見過ごされてきた重要な非対称性現象を同定する。
  論文  参考訳（メタデータ） (2024-11-23T19:10:32Z)
• Slicing Mutual Information Generalization Bounds for Neural Networks [14.48773730230054]
  我々は、ディープラーニングアルゴリズムに適した、より厳密な情報理論の一般化バウンダリを導入する。 我々の境界は、標準MI境界よりも有意な計算的および統計的優位性を提供する。 パラメータがランダムな部分空間に正確に横たわる必要がないアルゴリズムに解析を拡張します。
  論文  参考訳（メタデータ） (2024-06-06T13:15:37Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Revisiting Structured Variational Autoencoders [11.998116457994994]
  構造化変動オートエンコーダ(SVAE)は、潜伏変数の確率的グラフィカルモデル、観測データに潜伏変数をリンクするディープニューラルネットワーク、近似後部推論のための構造探索アルゴリズムを組み合わせる。 その概念的優雅さにもかかわらず、SVAEは実装が困難であることが証明され、より一般的なアプローチが実際に好まれている。 ここでは、現代の機械学習ツールを使用してSVAEを再検討し、精度と効率の両面で、より一般的な選択肢よりも優位性を示す。
  論文  参考訳（メタデータ） (2023-05-25T23:51:18Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Improved Representation Learning Through Tensorized Autoencoders [7.056005298953332]
  オートエンコーダ(AE)は、教師なし表現学習において広く使われている。 本稿では,任意のAEアーキテクチャをテンソル化バージョン(TAE)に拡張するメタアルゴリズムを提案する。 我々は,TAEが標準AEによって回収されたデータ全体の原理成分とは対照的に,異なるクラスタの原理成分を復元できることを証明した。
  論文  参考訳（メタデータ） (2022-12-02T09:29:48Z)
• ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
  我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。 実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
  論文  参考訳（メタデータ） (2022-06-24T08:18:05Z)
• Toward Learning Robust and Invariant Representations with Alignment Regularization and Data Augmentation [76.85274970052762]
  本論文はアライメント正則化の選択肢の増大を動機としている。 我々は、ロバスト性および不変性の次元に沿って、いくつかの人気のある設計選択のパフォーマンスを評価する。 我々はまた、現実的と考える仮定の下で経験的な研究を補完するために、アライメント正則化の挙動を正式に分析する。
  論文  参考訳（メタデータ） (2022-06-04T04:29:19Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Extendable and invertible manifold learning with geometry regularized autoencoders [9.742277703732187]
  データ探索における基本的な課題は、データ内の固有幾何学をキャプチャする単純化された低次元表現を抽出することである。 このタスクに対する一般的なアプローチは、多様体学習にカーネルメソッドを使用する。 オートエンコーダのボトルネックに幾何正規化項を組み込むことにより,両手法を統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T15:59:10Z)
• ARAE: Adversarially Robust Training of Autoencoders Improves Novelty Detection [6.992807725367106]
  オートエンコーダ(AE)は新規性検出問題にアプローチするために広く利用されている。 より意味論的に意味のある特徴を学習できる新しいAEを提案する。 よりシンプルなアーキテクチャを使用しているにもかかわらず、提案されたAEは、3つのベンチマークデータセットで最先端の競合に勝っているか、あるいは競合していることを示す。
  論文  参考訳（メタデータ） (2020-03-12T09:06:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。