論文の概要: Rank Reduction Autoencoders

• arxiv url: http://arxiv.org/abs/2405.13980v3
• Date: Tue, 25 Mar 2025 09:41:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 20:13:40.143148
• Title: Rank Reduction Autoencoders
• Title（参考訳）: ランクダウンオートエンコーダ
• Authors: Jad Mounayer, Sebastian Rodriguez, Chady Ghnatios, Charbel Farhat, Francisco Chinesta,
• Abstract要約: 我々は、新しい決定論的オートエンコーダ、ランク削減オートエンコーダ(RRAE)を導入する。 RRAEでは、ボトルネックは潜在行列のランクによって定義され、これによりエンコーダ/デコーダアーキテクチャのボトルネックサイズへの依存性が軽減される。 RRAEとARRAEはどちらも安定し,スケーラブルで,信頼性が高いことを実証的に実証した。
• 参考スコア（独自算出の注目度）: 3.180674374101366
• License:
• Abstract: The choice of an appropriate bottleneck dimension and the application of effective regularization are both essential for Autoencoders to learn meaningful representations from unlabeled data. In this paper, we introduce a new class of deterministic autoencoders, Rank Reduction Autoencoders (RRAEs), which regularize their latent spaces by employing a truncated singular value decomposition (SVD) during training. In RRAEs, the bottleneck is defined by the rank of the latent matrix, thereby alleviating the dependence of the encoder/decoder architecture on the bottleneck size. This approach enabled us to propose an adaptive algorithm (aRRAEs) that efficiently determines the optimal bottleneck size during training. We empirically demonstrate that both RRAEs and aRRAEs are stable, scalable, and reliable, as they do not introduce any additional training hyperparameters. We evaluate our proposed architecture on a synthetic data set, as well as on MNIST, Fashion MNIST, and CelebA. Our results show that RRAEs offer several advantages over Vanilla AEs with both large and small latent spaces, and outperform other regularizing AE architectures.
• Abstract（参考訳）: 適切なボトルネック次元の選択と効果的な正規化の適用は、オートエンコーダがラベルのないデータから意味のある表現を学習するためにも不可欠である。 本稿では,学習中に特異値分解(SVD)を用いることで潜在空間を正規化する,決定論的オートエンコーダ(RRAE)を新たに導入する。 RRAEでは、ボトルネックは潜在行列のランクによって定義され、これによりエンコーダ/デコーダアーキテクチャのボトルネックサイズへの依存性が軽減される。 このアプローチにより,学習中の最適ボトルネックサイズを効率的に決定する適応アルゴリズム(aRRAE)を提案することができた。 RRAE と aRRAE はいずれも安定し,拡張性があり,信頼性が高いことを実証的に示す。 提案したアーキテクチャは,MNIST,Fashion MNIST,CelebAなどと同様に,合成データセット上で評価する。 以上の結果から,RRAEはVanilla AEに対して,大規模および小型の潜伏空間と,他の正規化AEアーキテクチャよりも優れた性能を示すことがわかった。

関連論文リスト

• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• Dimensionality reduction with variational encoders based on subsystem purification [0.27998963147546135]
  本研究では,高次元ヒルベルト空間で表される状態の次元性を低減するために,変分オートエンコーダの代替手法を提案する。 我々は、8x8グリッドにBarsとStripesデータセット(BAS)を使用し、効率的な符号化状態を作成し、95%の分類精度を報告します。
  論文  参考訳（メタデータ） (2022-09-20T15:24:11Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• Highly Parallel Autoregressive Entity Linking with Discriminative Correction [51.947280241185]
  自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。 我々のモデルは以前の生成法より70倍高速で精度が高い。
  論文  参考訳（メタデータ） (2021-09-08T17:28:26Z)
• A New Modal Autoencoder for Functionally Independent Feature Extraction [6.690183908967779]
  新しいモーダルオートエンコーダ (MAE) は、読み出し重み行列の列をオトゴゴナライズすることによって提案される。 結果は、MNIST変異とUSPS分類ベンチマークスイートで検証された。 新しいMAEは、オートエンコーダのための非常にシンプルなトレーニング原則を導入し、ディープニューラルネットワークの事前トレーニングを約束できる。
  論文  参考訳（メタデータ） (2020-06-25T13:25:10Z)
• Isometric Autoencoders [36.947436313489746]
  我々はアイソメトリ(即ち局所距離保存)正則化を提唱する。 我々の正規化器は、(つまりデコーダは等尺線、(ii)デコーダはデコーダの擬似逆、すなわち、エンコーダはプロジェクションによりデコーダの逆を周囲空間に拡張する。
  論文  参考訳（メタデータ） (2020-06-16T16:31:57Z)
• Learning Autoencoders with Relational Regularization [89.53065887608088]
  データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。 エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする 我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
  論文  参考訳（メタデータ） (2020-02-07T17:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。