論文の概要: Beyond Linear and Overcomplete Regimes: A Mean-Field Analysis of Bottleneck Autoencoders

• arxiv url: http://arxiv.org/abs/2606.07120v1
• Date: Fri, 05 Jun 2026 10:20:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.689552
• Title: Beyond Linear and Overcomplete Regimes: A Mean-Field Analysis of Bottleneck Autoencoders
• Title（参考訳）: 線形およびオーバーコンプリートレジームを超えて:Bottleneckオートエンコーダの平均場解析
• Authors: Santanu Das, Ramyak Bilas, Pascal Esser, Satyaki Mukherjee,
• Abstract要約: オートエンコーダは、再構成誤差を最小限に抑えながら、データを潜在空間にマッピングすることで低次元表現を学習する。 平均場 (MF) における有限次元ボトルネックを固定した非線形AEについて検討した。 我々は、エンコーダとデコーダの両方に対して明示的なMF学習ダイナミクスを導出し、非線形環境におけるトレーニングの抽出可能な特徴付けを提供する。
• 参考スコア（独自算出の注目度）: 1.3766156880876856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoencoders (AEs) learn low-dimensional representations by mapping data into a latent space while minimizing reconstruction error. Despite their empirical success, theoretical understanding remains limited and largely restricted to linear models or settings without a bottleneck. In this work, we study nonlinear AEs with a fixed finite-dimensional bottleneck in the mean-field (MF) regime. We derive explicit MF learning dynamics for both encoder and decoder, providing a tractable characterization of training in the nonlinear setting. We show that, over finite time horizons, the empirical risk of finite-width networks trained with stochastic gradient descent closely tracks the MF risk trajectory with high probability. At optimality, we further establish that the finite-width risk converges to the MF optimum, demonstrating that finite networks are sufficiently expressive to approximate the infinite-width solution.
• Abstract（参考訳）: オートエンコーダ(AE)は、再構成誤差を最小限に抑えながら、データを潜在空間にマッピングすることで低次元表現を学習する。 経験的成功にもかかわらず、理論的な理解は依然として限定的であり、ボトルネックのない線形モデルや設定に限られている。 本研究では, 平均場 (MF) における固定有限次元ボトルネックを持つ非線形AEについて検討する。 我々は、エンコーダとデコーダの両方に対して明示的なMF学習ダイナミクスを導出し、非線形環境におけるトレーニングの抽出可能な特徴付けを提供する。 有限時間地平線上で、確率勾配勾配で訓練された有限幅ネットワークの実験的リスクは、高い確率でMFリスク軌跡を密に追跡することを示した。 最適性において、有限幅リスクは MF 最適値に収束し、有限ネットワークが無限幅解を近似するのに十分表現可能であることを示す。

関連論文リスト

• A simple mean field model of feature learning [2.3215806943173676]
  勾配ランゲヴィン力学(SGLD)を訓練した2層非線形ネットワークに対する、トラクタブルで自己整合平均場(MF)理論を導出する。 無限の幅では、この理論はカーネルリッジの回帰に還元されるが、有限の幅では、ネットワークがターゲット関数と突然整合する対称性の破れ相転移を予測する。 基本的なMF理論は、有限幅状態におけるFLの出現に関する理論的な洞察を与えるが、半定量的にFLの開始をノイズやサンプルサイズで予測することは、遷移後の一般化の改善を著しく過小評価する。
  論文  参考訳（メタデータ） (2025-10-16T22:28:44Z)
• Understanding the training of infinitely deep and wide ResNets with Conditional Optimal Transport [26.47265060394168]
  深部ニューラルネットワークの勾配流は遠距離で任意に収束することを示す。 これは空間における有限幅の勾配距離の理論に依存する。
  論文  参考訳（メタデータ） (2024-03-19T16:34:31Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks [68.8204255655161]
  本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。 損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-05T13:26:17Z)
• GFlowNet-EM for learning compositional latent variable models [115.96660869630227]
  ラテントの後方のモデリングにおける重要なトレードオフは、表現性とトラクタブルな最適化の間にある。 非正規化密度からサンプリングするアルゴリズムであるGFlowNetsを提案する。 GFlowNetsをトレーニングして、後部から潜伏者へのサンプルをトレーニングすることにより、それらの強度をアモータライズされた変分アルゴリズムとして活用する。
  論文  参考訳（メタデータ） (2023-02-13T18:24:21Z)
• A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
  本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。 我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
  論文  参考訳（メタデータ） (2022-10-28T17:26:27Z)
• Limiting fluctuation and trajectorial stability of multilayer neural networks with mean field training [3.553493344868413]
  ネットワーク深度における多層ネットワークの場合の変動について検討する。 この2階のMF限界におけるニューロン間の複雑な相互作用の枠組みを実演する。 極限定理は、この極限と大幅ネットワークのゆらぎを関連付けることが証明されている。
  論文  参考訳（メタデータ） (2021-10-29T17:58:09Z)
• Towards extraction of orthogonal and parsimonious non-linear modes from turbulent flows [0.0]
  本稿では,非線形モードの最小およびほぼ直交の集合を学習するための深い確率-神経-ネットワークアーキテクチャを提案する。 我々のアプローチは、$beta$-variational autoencoders($beta$-VAEs)と畳み込みニューラルネットワーク(CNNs)に基づいている。
  論文  参考訳（メタデータ） (2021-09-03T13:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。