論文の概要: Rank Reduction Autoencoders -- Enhancing interpolation on nonlinear manifolds

• arxiv url: http://arxiv.org/abs/2405.13980v1
• Date: Wed, 22 May 2024 20:33:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-24 20:14:01.744168
• Title: Rank Reduction Autoencoders -- Enhancing interpolation on nonlinear manifolds
• Title（参考訳）: ランクダウンオートエンコーダ -- 非線形多様体の補間強化
• Authors: Jad Mounayer, Sebastian Rodriguez, Chady Ghnatios, Charbel Farhat, Francisco Chinesta,
• Abstract要約: Rank Reduction Autoencoder (RRAE) は、拡張された潜在空間を持つオートエンコーダである。 2つの定式化(強式と弱式)が提示され、潜在空間を正確に表現する還元基底が構築される。 タスクに使用し、結果を他のオートエンコーダと比較することにより、この定式化の効率性を示す。
• 参考スコア（独自算出の注目度）: 3.180674374101366
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The efficiency of classical Autoencoders (AEs) is limited in many practical situations. When the latent space is reduced through autoencoders, feature extraction becomes possible. However, overfitting is a common issue, leading to ``holes'' in AEs' interpolation capabilities. On the other hand, increasing the latent dimension results in a better approximation with fewer non-linearly coupled features (e.g., Koopman theory or kPCA), but it doesn't necessarily lead to dimensionality reduction, which makes feature extraction problematic. As a result, interpolating using Autoencoders gets harder. In this work, we introduce the Rank Reduction Autoencoder (RRAE), an autoencoder with an enlarged latent space, which is constrained to have a small pre-specified number of dominant singular values (i.e., low-rank). The latent space of RRAEs is large enough to enable accurate predictions while enabling feature extraction. As a result, the proposed autoencoder features a minimal rank linear latent space. To achieve what's proposed, two formulations are presented, a strong and a weak one, that build a reduced basis accurately representing the latent space. The first formulation consists of a truncated SVD in the latent space, while the second one adds a penalty term to the loss function. We show the efficiency of our formulations by using them for interpolation tasks and comparing the results to other autoencoders on both synthetic data and MNIST.
• Abstract（参考訳）: 古典的オートエンコーダ(AE)の効率は多くの現実的な状況において制限されている。 オートエンコーダにより潜在空間が縮小されると、特徴抽出が可能となる。 しかし、オーバーフィッティングは一般的な問題であり、AESの補間能力の 'holes'' につながる。 一方、潜在次元の増大は、非線型結合の少ない特徴(例えば、クープマン理論やkPCA)でより良い近似をもたらすが、必ずしも次元の減少を招き、特徴抽出が問題となる。 その結果、オートエンコーダによる補間が難しくなる。 本研究では,拡張された潜在空間を持つオートエンコーダであるランク低減オートエンコーダ(RRAE)を導入する。 RRAEsの潜伏空間は、特徴抽出を可能にしながら正確な予測を可能にするのに十分な大きさである。 その結果,提案するオートエンコーダは最小ランク線形潜在空間を特徴とする。 提案したことを達成するために、弱かつ弱な2つの定式化が提示され、潜在空間を正確に表現する還元基底が構築される。 第1の定式化は、潜在空間における切り裂かれたSVDから成り、第2の定式化は損失関数にペナルティ項を加える。 補間処理に使用し, 合成データとMNISTの両方のオートエンコーダと比較することにより, 定式化の効率性を示す。

関連論文リスト

• Embedding-Free Transformer with Inference Spatial Reduction for Efficient Semantic Segmentation [15.377463849213033]
  EFAは、グローバルな非線型性の機能に焦点を当てた、新しいグローバルなコンテキストモデリングメカニズムである。 ISR法では,推論フェーズにおけるキー値の分解能を低減し,計算性能とトレードオフのギャップを軽減できる。 EDAFormerは、既存のトランスフォーマーベースのセマンティックセグメンテーションモデルと比較して、効率的な計算で最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-07-24T13:24:25Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Uncertainty-Aware Source-Free Adaptive Image Super-Resolution with Wavelet Augmentation Transformer [60.31021888394358]
  Unsupervised Domain Adaptation (UDA)は、現実世界の超解像(SR)における領域ギャップ問題に効果的に対処できる 本稿では,画像SR(SODA-SR)のためのSOurce-free Domain Adaptationフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-31T03:14:44Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• Benign Autoencoders [0.0]
  我々は最適なエンコーダとデコーダのペアを見つける問題を定式化し、その解を「良性オートエンコーダ」(BAE)と呼ぶ。 我々は、BAEが生成問題の最適圧縮性次元である多様体にデータを投影することを証明した。 実例として,分散シフト下での識別器の性能を向上させるために,BAEが最適で低次元の潜在表現を見出す方法を示す。
  論文  参考訳（メタデータ） (2022-10-02T21:36:27Z)
• Dimensionality reduction with variational encoders based on subsystem purification [0.27998963147546135]
  本研究では,高次元ヒルベルト空間で表される状態の次元性を低減するために,変分オートエンコーダの代替手法を提案する。 我々は、8x8グリッドにBarsとStripesデータセット(BAS)を使用し、効率的な符号化状態を作成し、95%の分類精度を報告します。
  論文  参考訳（メタデータ） (2022-09-20T15:24:11Z)
• Closing the gap: Exact maximum likelihood training of generative autoencoders using invertible layers [7.76925617801895]
  VAE方式のオートエンコーダは非可逆層を用いて構築可能であることを示す。 これは、エンコーダ、デコーダ、および以前のアーキテクチャの選択において完全な自由を残しながら達成される。 この手法は,ログライクリフ,サンプル品質,デノーミング性能の観点から,アーキテクチャ的に等価なVAEよりも著しく高い性能を示す。
  論文  参考訳（メタデータ） (2022-05-19T13:16:09Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent Space Distribution Matching in WAE [51.09507030387935]
  Wasserstein autoencoder (WAE) は、2つの分布が一致することは、このAEの潜在空間が予め指定された事前分布と一致するという制約の下で、単純なオートエンコーダ(AE)損失を最小限にすることと同値であることを示している。 本稿では,この問題を解決する手段として,自己指導型表現学習に有効であることを示すコントラスト学習フレームワークを提案する。 WAEの損失を最適化するために、対照的な学習フレームワークを使用することで、WAEの一般的なアルゴリズムと比較して、より高速に収束し、より安定した最適化が達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-19T22:55:47Z)
• Highly Parallel Autoregressive Entity Linking with Discriminative Correction [51.947280241185]
  自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。 我々のモデルは以前の生成法より70倍高速で精度が高い。
  論文  参考訳（メタデータ） (2021-09-08T17:28:26Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Symmetric Wasserstein Autoencoders [22.196642357767338]
  我々は、Symmetric Wasserstein Autoencoders (SWAEs)と呼ばれる、学習可能な事前学習可能な生成オートエンコーダの新しいファミリーを導入する。 エンコーダとデコーダによって誘導される観測データの結合分布と潜在表現とを対称的にマッチングする。 分類,再構築,生成の観点で,最先端の生成オートエンコーダよりもSWAの優れた性能を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-24T13:56:02Z)
• Dual Adversarial Auto-Encoders for Clustering [152.84443014554745]
  教師なしクラスタリングのためのDual-AAE(Dual-AAE)を提案する。 Dual-AAEの目的関数に対する変分推論を行うことで,一対のオートエンコーダをトレーニングすることで最適化可能な新たな再構成損失を導出する。 4つのベンチマーク実験により、Dual-AAEは最先端のクラスタリング手法よりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-08-23T13:16:34Z)
• A New Modal Autoencoder for Functionally Independent Feature Extraction [6.690183908967779]
  新しいモーダルオートエンコーダ (MAE) は、読み出し重み行列の列をオトゴゴナライズすることによって提案される。 結果は、MNIST変異とUSPS分類ベンチマークスイートで検証された。 新しいMAEは、オートエンコーダのための非常にシンプルなトレーニング原則を導入し、ディープニューラルネットワークの事前トレーニングを約束できる。
  論文  参考訳（メタデータ） (2020-06-25T13:25:10Z)
• Isometric Autoencoders [36.947436313489746]
  我々はアイソメトリ(即ち局所距離保存)正則化を提唱する。 我々の正規化器は、(つまりデコーダは等尺線、(ii)デコーダはデコーダの擬似逆、すなわち、エンコーダはプロジェクションによりデコーダの逆を周囲空間に拡張する。
  論文  参考訳（メタデータ） (2020-06-16T16:31:57Z)
• Learning Autoencoders with Relational Regularization [89.53065887608088]
  データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。 エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする 我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
  論文  参考訳（メタデータ） (2020-02-07T17:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。