論文の概要: A Closed Form Depth-Width Law for Neural Collapse in Deep Linear Networks

• arxiv url: http://arxiv.org/abs/2610.21820v1
• Date: Thu, 15 Oct 2026 13:06:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.086338
• Title: A Closed Form Depth-Width Law for Neural Collapse in Deep Linear Networks
• Title（参考訳）: ディープ線形ネットワークにおけるニューラル崩壊の閉形式深さ法則
• Abstract要約: 深さ、幅、信号対雑音比への依存は、閉じた形で引き出すことができる。 交換可能なクラス構造を持つ深い線形ネットワークの場合、結果として得られる核方程式は幾何学的法則をもたらす。
• 参考スコア（独自算出の注目度）: 9.222991789197641
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How depth and width of neural networks shape learned representations is usually studied only after training. We show that, in a tractable feature-learning setting, this dependence can instead be obtained in closed form. Using neural collapse as a probe of representation geometry, we express NC1--NC3 directly in terms of the learned feature kernel, extending an identity known for NC1 to the angular part of NC2 and to NC3 under a ridge readout. For deep linear networks with exchangeable class structure, the resulting kernel equations yield a geometric law, exact within the theory, for the layerwise evolution of within-class variability. At large width, the accumulated compression becomes a function of the depth-to-width ratio $L/N$, with its rate determined self-consistently by the data, prior and architecture. Numerical experiments support the derived dependence on depth, width and signal-to-noise ratio. The result is a representation-level scaling law derived from feature-learning theory rather than fitted after training.
• Abstract（参考訳）: ニューラルネットワークの深さと幅が、学習された表現を形作るかは通常、訓練後にのみ研究される。 抽出可能な特徴学習環境では、この依存をクローズドな形で得ることができることを示す。 表現幾何学のプローブとして神経崩壊を用いると、学習した特徴核の言葉でNC1--NC3を直接表現し、NC1で知られているアイデンティティを、尾根の読み出しの下でNC2の角部とNC3に拡張する。 交換可能なクラス構造を持つディープ線形ネットワークの場合、結果として得られる核方程式は、クラス内変数の階層的進化に対して、理論内で正確な幾何学的法則を導出する。 大きな幅では、蓄積された圧縮は深さ/幅比$L/N$の関数となり、その速度はデータ、先行およびアーキテクチャによって自己整合的に決定される。 数値実験は、深さ、幅、信号対雑音比の導出依存性を支持する。 その結果、訓練後に適合するのではなく、特徴学習理論から導かれる表現レベルのスケーリング法則が得られた。

関連論文リスト

• Neural Collapse under Gradient Flow on Shallow ReLU Networks for Orthogonally Separable Data [52.737775129027575]
  直交分離可能なデータを分類するための2層ReLUネットワーク上の勾配流がニューラル・コラプス(NC)を示すことを示す。 NCの出現を促進するためのトレーニング力学の暗黙バイアスの役割を明らかにする。
  論文  参考訳（メタデータ） (2025-10-24T01:36:19Z)
• Beyond Unconstrained Features: Neural Collapse for Shallow Neural Networks with General Data [0.8594140167290099]
  ニューラル崩壊(Neural collapse, NC)は、ディープ・ニューラル・ネットワーク(DNN)の終末期に発生する現象である。 2層または3層ニューラルネットワークでNCが発生した場合の完全な特徴付けを提供する。
  論文  参考訳（メタデータ） (2024-09-03T12:30:21Z)
• Feature Learning and Generalization in Deep Networks with Orthogonal Weights [1.7956122940209063]
  独立なガウス分布からの数値的な重みを持つディープニューラルネットワークは臨界に調整することができる。 これらのネットワークは、ネットワークの深さとともに線形に成長する変動を示す。 行列のアンサンブルから得られるタン・アクティベーションと重みを持つ長方形のネットワークが、それに対応する事前アクティベーション・揺らぎを持つことを示す。
  論文  参考訳（メタデータ） (2023-10-11T18:00:02Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
  本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。 本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。 提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-19T17:56:03Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。