論文の概要: A solvable high-dimensional model where nonlinear autoencoders learn structure invisible to PCA while test loss misaligns with generalization

• arxiv url: http://arxiv.org/abs/2602.10680v1
• Date: Wed, 11 Feb 2026 09:31:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:01.642839
• Title: A solvable high-dimensional model where nonlinear autoencoders learn structure invisible to PCA while test loss misaligns with generalization
• Title（参考訳）: 非線形オートエンコーダがPCAに見えない構造を学習する解答可能な高次元モデル
• Authors: Vicente Conde Mendes, Lorenzo Bardone, Cédric Koller, Jorge Medina Moreira, Vittorio Erba, Emanuele Troiani, Lenka Zdeborová,
• Abstract要約: 本稿では,2つの潜在因子を持つトラクタブルな高次元スパイクモデルを提案する。 PCAと線形オートエンコーダは後者の回復に失敗し、最小の非線形オートエンコーダは両方を確実に抽出する。 私たちのモデルは、自己監督型テストの損失が表現品質と不整合である、抽出可能な例も提供します。
• 参考スコア（独自算出の注目度）: 12.791897914144378
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many real-world datasets contain hidden structure that cannot be detected by simple linear correlations between input features. For example, latent factors may influence the data in a coordinated way, even though their effect is invisible to covariance-based methods such as PCA. In practice, nonlinear neural networks often succeed in extracting such hidden structure in unsupervised and self-supervised learning. However, constructing a minimal high-dimensional model where this advantage can be rigorously analyzed has remained an open theoretical challenge. We introduce a tractable high-dimensional spiked model with two latent factors: one visible to covariance, and one statistically dependent yet uncorrelated, appearing only in higher-order moments. PCA and linear autoencoders fail to recover the latter, while a minimal nonlinear autoencoder provably extracts both. We analyze both the population risk, and empirical risk minimization. Our model also provides a tractable example where self-supervised test loss is poorly aligned with representation quality: nonlinear autoencoders recover latent structure that linear methods miss, even though their reconstruction loss is higher.
• Abstract（参考訳）: 多くの実世界のデータセットは、入力特徴間の単純な線形相関によって検出できない隠れ構造を含んでいる。 例えば、遅延因子は、PCAのような共分散に基づく手法では見えないが、コーディネートされた方法でデータに影響を与える可能性がある。 実際には、非線形ニューラルネットワークは、教師なしや自己教師なしの学習において、そのような隠れた構造を抽出することに成功した。 しかし、この利点を厳密に分析できる最小の高次元モデルを構築することは、オープンな理論上の課題である。 共分散に可視な2つの要因と,高次モーメントにのみ現れる統計的に非相関な1つの因果関係を持つ,トラクタブルな高次元スパイクモデルを導入する。 PCAと線形オートエンコーダは後者の回復に失敗し、最小の非線形オートエンコーダは両方を確実に抽出する。 我々は、人口リスクと経験的リスク最小化の両方を分析する。 非線形オートエンコーダは, 線形手法が欠落する潜在構造を復元する。

関連論文リスト

• On the Limits of Self-Improving in LLMs and Why AGI, ASI and the Singularity Are Not Near Without Symbolic Model Synthesis [0.01269104766024433]
  我々は,大規模言語モデル(LLM)における自己学習と生成AIを離散時間力学系として定式化する。 1) 有限サンプリング効果が分布多様性の単調な損失(モード崩壊)を引き起こすエントロピー減衰と,(2) 外部グラウンドの損失がモデルの真理表現をランダムウォークとして漂流させる変数増幅の2つの基本的障害モードを導出する。
  論文  参考訳（メタデータ） (2026-01-05T19:50:49Z)
• Nonlinear Multiple Response Regression and Learning of Latent Spaces [2.6113259186042876]
  教師なし設定と教師なし設定の両方で潜在空間を学習できる統一手法を提案する。 ブラックボックス」として動作する他のニューラルネットワーク手法とは異なり、我々のアプローチはより良い解釈可能性を提供するだけでなく、計算の複雑さも減少させる。
  論文  参考訳（メタデータ） (2025-03-27T15:28:06Z)
• Robustness of Nonlinear Representation Learning [60.15898117103069]
  本研究では,教師なし表現学習の問題を,わずかに不特定な環境で研究する。 混合は線形変換と小さな誤差で識別可能であることを示す。 これらの結果は、実世界のデータに対する教師なし表現学習における識別可能性向上へのステップである。
  論文  参考訳（メタデータ） (2025-03-19T15:57:03Z)
• Adversarial Dependence Minimization [78.36795688238155]
  この研究は、線形対のデコリレーションを超越した依存最小化のための微分可能でスケーラブルなアルゴリズムを提供する。 我々は,PCAを非線形デコリレーションに拡張し,画像分類法の一般化を改良し,自己教師あり表現学習における次元的崩壊を防止する3つのアプリケーションでその実用性を実証する。
  論文  参考訳（メタデータ） (2025-02-05T14:43:40Z)
• Unveiling Multiple Descents in Unsupervised Autoencoders [25.244065166421517]
  非線形非教師なしオートエンコーダで二重・三重降下を観測できることを初めて示す。 合成データセットと実データセットの両方に関する広範な実験を通して、モデルワイド、エポックワイド、サンプルワイドの二重降下を明らかにする。
  論文  参考訳（メタデータ） (2024-06-17T16:24:23Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。