論文の概要: Partially Linear Autoencoders for Manifold Learning and Dimensionality Reduction
- arxiv url: http://arxiv.org/abs/2608.29867v1
- Date: Sun, 30 Aug 2026 15:54:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.093857
- Title: Partially Linear Autoencoders for Manifold Learning and Dimensionality Reduction
- Title（参考訳）: マニフォールド学習と次元化のための部分線形オートエンコーダ
- Abstract要約: オートエンコーダは、非線形次元減少と多様体学習に広く用いられている。
本稿では,エンコーダの特定の役割と,精度を低下させることなく線形に制約できる範囲について検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autoencoders are widely used for nonlinear dimensionality reduction and manifold learning. While most common implementations rely on both nonlinear encoders and decoders, we investigate the specific role of the encoder and the extent to which it can be constrained to be linear without reducing accuracy. We conduct a comparative study on four autoencoder architectures: standard fully nonlinear autoencoders (AE), linear-encoder autoencoders (Lenc-AE), linear-decoder autoencoders (Ldec-AE), and fully linear autoencoders (LAE), evaluated on synthetic manifolds, computational mechanics data sets, and real-world image data sets including MNIST. We demonstrate that imposing a linear encoder preserves most of the representational capacity of the autoencoder, provided the decoder remains nonlinear. In particular, Lenc-AE consistently outperforms both Ldec-AE and LAE, and achieves reconstruction quality comparable to fully nonlinear AE, while offering advantages in terms of parsimony and interpretability of the latent representation. These results suggest that the nonlinear decoder is the critical component for manifold learning, rather than the encoder. A geometric interpretation of this finding is developed, which identifies the precise conditions under which a linear encoder is sufficient, and the specific manifold configurations that expose its limitations.
- Abstract（参考訳）: オートエンコーダは、非線形次元減少と多様体学習に広く用いられている。
一般的な実装は非線形エンコーダとデコーダの両方に依存しているが, エンコーダの特定の役割と, 精度を低下させることなく線形化できる範囲について検討する。
標準完全非線形オートエンコーダ(AE)、線形エンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダ(Ldec-AE)、完全線形オートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートコンダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートコンダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートコンダオートエンコーダオートエンダオートエンコーダオートエンコーダオートエンコーダオートエンコーダオートエンコーダ(LAE)の4つのアーキテクチャの比較研究を行った。
我々は、デコーダが非線形である場合、線形エンコーダを挿入するとオートエンコーダの表現能力のほとんどを維持できることを示した。
特に、Ldec-AE は Ldec-AE と LAE を一貫して上回り、完全非線形AE に匹敵する再構成品質を達成する一方で、潜在表現のパーシモニーと解釈可能性の面で優位性を提供する。
これらの結果は, 非線形デコーダが, エンコーダではなく, 多様体学習の重要な要素であることを示唆している。
この発見の幾何学的解釈が開発され、線形エンコーダが十分である正確な条件と、その制限を露呈する特定の多様体構成を特定する。
関連論文リスト
- Beyond Encoder Accumulation: Measuring Encoder Roles in Multi-Encoder VLMs [50.3757247538081]
我々は、統一パイプラインの下で、5つの共通ビジョンエンコーダの空でないサブセット31を再訓練し、評価する。
各エンコーダのコントリビューションを,容量と必要量という2つの軸に分解する。
エンコーダごとのプロジェクタ有効ランクは、残留スコアの変動を説明する。
論文 参考訳（メタデータ） (2026-06-02T16:46:42Z) - Investigating Redundancy in Multimodal Large Language Models with Multiple Vision Encoders [54.03921875874111]
選択したエンコーダがマスクされた場合, 性能は良好に低下し, 広範にエンコーダの冗長性が明らかとなった。
我々は、OCRやChartのようなタスクにおいて、単一のエンコーダが90%以上のCURで支配できる強力な特殊化を観察する。
特定のエンコーダを使用すると、特定のタスクカテゴリにおいて最大16%の精度が得られ、全体のパフォーマンスがフルモデルよりも3.6%向上する。
論文 参考訳（メタデータ） (2025-07-04T02:38:59Z) - Leveraging time and parameters for nonlinear model reduction methods [0.0]
我々は、ゆっくりと崩壊するコルモゴロフ$n$-幅の問題を波状あるいは輸送支配的な問題と考える。
MOR内のこのコルモゴロフ障壁を克服するために、非線形射影が使われ、しばしばオートエンコーダを用いて数値的に実現される。
to-be-reducedシステムの拡張とそのトレーニングデータにより,非線形エンコーダを線形エンコーダに置き換えることが,精度を犠牲にすることなく可能であることを示す。
論文 参考訳（メタデータ） (2025-01-07T15:10:07Z) - Rank Reduction Autoencoders [3.180674374101366]
我々は、新しい決定論的オートエンコーダ、ランク削減オートエンコーダ(RRAE)を導入する。
RRAEでは、ボトルネックは潜在行列のランクによって定義され、これによりエンコーダ/デコーダアーキテクチャのボトルネックサイズへの依存性が軽減される。
RRAEとARRAEはどちらも安定し,スケーラブルで,信頼性が高いことを実証的に実証した。
論文 参考訳（メタデータ） (2024-05-22T20:33:09Z) - Learning Linear Block Error Correction Codes [62.25533750469467]
本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。
また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
論文 参考訳（メタデータ） (2024-05-07T06:47:12Z) - It's Enough: Relaxing Diagonal Constraints in Linear Autoencoders for
Recommendation [4.8802420827610025]
本稿では,線形オートエンコーダにおける2項の性質を理論的に理解することを目的とする。
本稿では,RLAE(Relaxed Linear AutoEncoder)とRDLAE(Relaxed Denoising Linear AutoEncoder)と呼ばれる,対角不等式制約を用いた単純なyet効率の線形オートエンコーダモデルを提案する。
実験の結果、我々のモデルは6つのベンチマークデータセット上で、最先端の線形モデルと非線形モデルに匹敵するか、優れていることが示された。
論文 参考訳（メタデータ） (2023-05-22T11:09:49Z) - Fundamental Limits of Two-layer Autoencoders, and Achieving Them with
Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。
本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。
符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文 参考訳（メタデータ） (2022-12-27T12:37:34Z) - Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [45.29194877564103]
本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。
このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
論文 参考訳（メタデータ） (2022-08-22T19:58:03Z) - Variational Autoencoders for Studying the Manifold of Precoding Matrices
with High Spectral Efficiency [47.187609203210705]
スペクトル効率(SE)の高い事前符号化行列を見つけるために、変分オートエンコーダを用いる方法を検討する。
私たちの目標は、最小品質の劣化を伴う、より時間を要するアルゴリズムを作ることです。
論文 参考訳（メタデータ） (2021-11-23T11:45:45Z) - On the Regularization of Autoencoders [14.46779433267854]
教師なし設定自体が、学習されたオートエンコーダのモデル容量の大幅な削減という、強い正規化を誘導することを示す。
深部非線形オートエンコーダは、両方のモデルが最終層に同じ次元を持つ場合、線形オートエンコーダよりも正確にトレーニングデータに適合できない。
3つのよく知られたデータセットに対する実験において、すべてのモデルランクに対して正確な近似であることを示す。
論文 参考訳（メタデータ） (2021-10-21T18:28:25Z) - Neural Distributed Source Coding [59.630059301226474]
相関構造に依存せず,高次元までスケール可能な損失DSCのためのフレームワークを提案する。
提案手法は,複数のデータセット上で評価し,複雑な相関関係と最先端PSNRを扱えることを示す。
論文 参考訳（メタデータ） (2021-06-05T04:50:43Z) - Full Encoder: Make Autoencoders Learn Like PCA [0.0]
Fullは、非線形ドメインにおけるPCA対応として、新しい統一オートエンコーダフレームワークである。
完全で獲得された潜在変数は、ネットワークの初期状態に関係なく常に同じ表現を学習するため、安定かつ堅牢である。
Fullは非線形システムの自由度を決定するために使用することができ、データ圧縮や異常検出に有用である。
論文 参考訳（メタデータ） (2021-03-25T18:57:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。