論文の概要: Learning Low-Rank Latent Spaces with Simple Deterministic Autoencoder:
Theoretical and Empirical Insights
- arxiv url: http://arxiv.org/abs/2310.16194v1
- Date: Tue, 24 Oct 2023 21:24:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 17:58:32.042438
- Title: Learning Low-Rank Latent Spaces with Simple Deterministic Autoencoder:
Theoretical and Empirical Insights
- Title（参考訳）: 単純決定論的オートエンコーダによる低位潜在空間の学習:理論的および経験的考察
- Authors: Alokendu Mazumder, Tirthajit Baruah, Bhartendu Kumar, Rishab Sharma,
Vishwajeet Pattanaik, Punit Rathore
- Abstract要約: Low-Rank Autoencoder (LoRAE) は低ランク遅延空間を学習する単純なオートエンコーダ拡張である。
我々のモデルは画像生成や下流分類といった様々なタスクを通して優れている。
- 参考スコア（独自算出の注目度）: 1.246305060872372
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The autoencoder is an unsupervised learning paradigm that aims to create a
compact latent representation of data by minimizing the reconstruction loss.
However, it tends to overlook the fact that most data (images) are embedded in
a lower-dimensional space, which is crucial for effective data representation.
To address this limitation, we propose a novel approach called Low-Rank
Autoencoder (LoRAE). In LoRAE, we incorporated a low-rank regularizer to
adaptively reconstruct a low-dimensional latent space while preserving the
basic objective of an autoencoder. This helps embed the data in a
lower-dimensional space while preserving important information. It is a simple
autoencoder extension that learns low-rank latent space. Theoretically, we
establish a tighter error bound for our model. Empirically, our model's
superiority shines through various tasks such as image generation and
downstream classification. Both theoretical and practical outcomes highlight
the importance of acquiring low-dimensional embeddings.
- Abstract（参考訳）: autoencoderは教師なしの学習パラダイムであり、再構成損失を最小限にすることでデータのコンパクトな潜在表現を作ることを目的としている。
しかし、ほとんどのデータ(画像)が低次元空間に埋め込まれているという事実は見過ごされがちであり、効果的なデータ表現には不可欠である。
この制限に対処するため,Low-Rank Autoencoder (LoRAE) と呼ばれる新しい手法を提案する。
LoRAEでは,低次元潜在空間を適応的に再構成し,オートエンコーダの基本目的を保ちながら低ランク正規化器を組み込んだ。
これは重要な情報を保存しながら、データを低次元空間に埋め込むのに役立つ。
低ランク潜在空間を学習する単純なオートエンコーダ拡張である。
理論的には、モデルに対してより厳密なエラー境界を確立する。
経験的に、我々のモデルの優越性は画像生成や下流分類といった様々なタスクを通して輝いています。
理論的および実践的な結果は、低次元埋め込みを取得することの重要性を強調している。
関連論文リスト
- Rank Reduction Autoencoders -- Enhancing interpolation on nonlinear manifolds [3.180674374101366]
Rank Reduction Autoencoder (RRAE) は、拡張された潜在空間を持つオートエンコーダである。
2つの定式化(強式と弱式)が提示され、潜在空間を正確に表現する還元基底が構築される。
タスクに使用し、結果を他のオートエンコーダと比較することにより、この定式化の効率性を示す。
論文 参考訳（メタデータ） (2024-05-22T20:33:09Z) - Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳（メタデータ） (2024-02-07T16:32:29Z) - Are We Using Autoencoders in a Wrong Way? [3.110260251019273]
オートエンコーダは次元減少、異常検出、特徴抽出に使用される。
潜在空間の形状を変更する不完全なオートエンコーダの標準トレーニングを再考した。
また,データセット全体からランダムサンプルを再構成する場合の潜伏空間の挙動についても検討した。
論文 参考訳（メタデータ） (2023-09-04T11:22:43Z) - Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。
本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
論文 参考訳（メタデータ） (2023-07-17T07:12:29Z) - Autoencoders with Intrinsic Dimension Constraints for Learning Low
Dimensional Image Representations [27.40298734517967]
本稿では,グローバルおよびローカルID制約の正規化をデータ表現の再構成に組み込んだ,オートエンコーダを用いた新しい深層表現学習手法を提案する。
このアプローチはデータセット全体の大域多様体構造を保存するだけでなく、各点の特徴写像の局所多様体構造も維持する。
論文 参考訳（メタデータ） (2023-04-16T03:43:08Z) - Discrete Key-Value Bottleneck [95.61236311369821]
ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。
この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。
しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。
この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
論文 参考訳（メタデータ） (2022-07-22T17:52:30Z) - Self-Supervised Point Cloud Representation Learning with Occlusion
Auto-Encoder [63.77257588569852]
本稿では,3D Occlusion Auto-Encoder(3D-OAE)を提案する。
私たちのキーとなるアイデアは、入力ポイントクラウドのローカルパッチをランダムに排除し、隠されたパッチを復元することで監督を確立することです。
従来の手法とは対照的に、我々の3D-OAEは大量のパッチを除去し、少数の可視パッチでしか予測できない。
論文 参考訳（メタデータ） (2022-03-26T14:06:29Z) - Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。
最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。
しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。
本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
論文 参考訳（メタデータ） (2021-01-18T03:24:48Z) - Implicit Rank-Minimizing Autoencoder [21.2045061949013]
Implicit Rank-Minimizing Autoencoder (IRMAE) は単純で決定論的であり、コンパクトな潜在空間を学習する。
いくつかの画像生成および表現学習タスクにおいて,本手法の有効性を示す。
論文 参考訳（メタデータ） (2020-10-01T20:48:52Z) - Isometric Autoencoders [36.947436313489746]
我々はアイソメトリ(即ち局所距離保存)正則化を提唱する。
我々の正規化器は、(つまりデコーダは等尺線、(ii)デコーダはデコーダの擬似逆、すなわち、エンコーダはプロジェクションによりデコーダの逆を周囲空間に拡張する。
論文 参考訳（メタデータ） (2020-06-16T16:31:57Z) - Robust Large-Margin Learning in Hyperbolic Space [64.42251583239347]
ユークリッド空間ではなく双曲型で分類器を学ぶための最初の理論的保証を示す。
本研究では, 対向例の慎重な注入に頼って, 大面積超平面を効率よく学習するアルゴリズムを提案する。
双曲空間によく埋め込まれる階層的データに対して、低埋め込み次元は優れた保証を保証することを証明している。
論文 参考訳（メタデータ） (2020-04-11T19:11:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。