論文の概要: Rank Reduction Autoencoders -- Enhancing interpolation on nonlinear manifolds

• arxiv url: http://arxiv.org/abs/2405.13980v1
• Date: Wed, 22 May 2024 20:33:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 20:14:01.744168
• Title: Rank Reduction Autoencoders -- Enhancing interpolation on nonlinear manifolds
• Title（参考訳）: ランクダウンオートエンコーダ -- 非線形多様体の補間強化
• Authors: Jad Mounayer, Sebastian Rodriguez, Chady Ghnatios, Charbel Farhat, Francisco Chinesta,
• Abstract要約: Rank Reduction Autoencoder (RRAE) は、拡張された潜在空間を持つオートエンコーダである。 2つの定式化(強式と弱式)が提示され、潜在空間を正確に表現する還元基底が構築される。 タスクに使用し、結果を他のオートエンコーダと比較することにより、この定式化の効率性を示す。
• 参考スコア（独自算出の注目度）: 3.180674374101366
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The efficiency of classical Autoencoders (AEs) is limited in many practical situations. When the latent space is reduced through autoencoders, feature extraction becomes possible. However, overfitting is a common issue, leading to ``holes'' in AEs' interpolation capabilities. On the other hand, increasing the latent dimension results in a better approximation with fewer non-linearly coupled features (e.g., Koopman theory or kPCA), but it doesn't necessarily lead to dimensionality reduction, which makes feature extraction problematic. As a result, interpolating using Autoencoders gets harder. In this work, we introduce the Rank Reduction Autoencoder (RRAE), an autoencoder with an enlarged latent space, which is constrained to have a small pre-specified number of dominant singular values (i.e., low-rank). The latent space of RRAEs is large enough to enable accurate predictions while enabling feature extraction. As a result, the proposed autoencoder features a minimal rank linear latent space. To achieve what's proposed, two formulations are presented, a strong and a weak one, that build a reduced basis accurately representing the latent space. The first formulation consists of a truncated SVD in the latent space, while the second one adds a penalty term to the loss function. We show the efficiency of our formulations by using them for interpolation tasks and comparing the results to other autoencoders on both synthetic data and MNIST.
• Abstract（参考訳）: 古典的オートエンコーダ(AE)の効率は多くの現実的な状況において制限されている。 オートエンコーダにより潜在空間が縮小されると、特徴抽出が可能となる。 しかし、オーバーフィッティングは一般的な問題であり、AESの補間能力の 'holes'' につながる。 一方、潜在次元の増大は、非線型結合の少ない特徴(例えば、クープマン理論やkPCA)でより良い近似をもたらすが、必ずしも次元の減少を招き、特徴抽出が問題となる。 その結果、オートエンコーダによる補間が難しくなる。 本研究では,拡張された潜在空間を持つオートエンコーダであるランク低減オートエンコーダ(RRAE)を導入する。 RRAEsの潜伏空間は、特徴抽出を可能にしながら正確な予測を可能にするのに十分な大きさである。 その結果,提案するオートエンコーダは最小ランク線形潜在空間を特徴とする。 提案したことを達成するために、弱かつ弱な2つの定式化が提示され、潜在空間を正確に表現する還元基底が構築される。 第1の定式化は、潜在空間における切り裂かれたSVDから成り、第2の定式化は損失関数にペナルティ項を加える。 補間処理に使用し, 合成データとMNISTの両方のオートエンコーダと比較することにより, 定式化の効率性を示す。

関連論文リスト

• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• Dimensionality reduction with variational encoders based on subsystem purification [0.27998963147546135]
  本研究では,高次元ヒルベルト空間で表される状態の次元性を低減するために,変分オートエンコーダの代替手法を提案する。 我々は、8x8グリッドにBarsとStripesデータセット(BAS)を使用し、効率的な符号化状態を作成し、95%の分類精度を報告します。
  論文  参考訳（メタデータ） (2022-09-20T15:24:11Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• Highly Parallel Autoregressive Entity Linking with Discriminative Correction [51.947280241185]
  自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。 我々のモデルは以前の生成法より70倍高速で精度が高い。
  論文  参考訳（メタデータ） (2021-09-08T17:28:26Z)
• A New Modal Autoencoder for Functionally Independent Feature Extraction [6.690183908967779]
  新しいモーダルオートエンコーダ (MAE) は、読み出し重み行列の列をオトゴゴナライズすることによって提案される。 結果は、MNIST変異とUSPS分類ベンチマークスイートで検証された。 新しいMAEは、オートエンコーダのための非常にシンプルなトレーニング原則を導入し、ディープニューラルネットワークの事前トレーニングを約束できる。
  論文  参考訳（メタデータ） (2020-06-25T13:25:10Z)
• Isometric Autoencoders [36.947436313489746]
  我々はアイソメトリ(即ち局所距離保存)正則化を提唱する。 我々の正規化器は、(つまりデコーダは等尺線、(ii)デコーダはデコーダの擬似逆、すなわち、エンコーダはプロジェクションによりデコーダの逆を周囲空間に拡張する。
  論文  参考訳（メタデータ） (2020-06-16T16:31:57Z)
• Learning Autoencoders with Relational Regularization [89.53065887608088]
  データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。 エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする 我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
  論文  参考訳（メタデータ） (2020-02-07T17:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。