論文の概要: Deep Neural Regression Collapse

• arxiv url: http://arxiv.org/abs/2603.23805v1
• Date: Wed, 25 Mar 2026 00:26:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.072168
• Title: Deep Neural Regression Collapse
• Title（参考訳）: Deep Neural Regression Collapse
• Authors: Akshay Rangamani, Altay Unal,
• Abstract要約: NRC(Neural Regression Collapse)も,異なるタイプのモデルにまたがる最終層の下に発生することが確認できた。 神経回帰モデルの崩壊層では、特徴が対象次元に対応する部分空間にあることが示される。 また、Deep NRCを示すモデルは、低ランク目標の内在次元を学習し、Deep NRCを誘導する際の重量減衰の必要性を探求する。
• 参考スコア（独自算出の注目度）: 5.557543974847597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Collapse is a phenomenon that helps identify sparse and low rank structures in deep classifiers. Recent work has extended the definition of neural collapse to regression problems, albeit only measuring the phenomenon at the last layer. In this paper, we establish that Neural Regression Collapse (NRC) also occurs below the last layer across different types of models. We show that in the collapsed layers of neural regression models, features lie in a subspace that corresponds to the target dimension, the feature covariance aligns with the target covariance, the input subspace of the layer weights aligns with the feature subspace, and the linear prediction error of the features is close to the overall prediction error of the model. In addition to establishing Deep NRC, we also show that models that exhibit Deep NRC learn the intrinsic dimension of low rank targets and explore the necessity of weight decay in inducing Deep NRC. This paper provides a more complete picture of the simple structure learned by deep networks in the context of regression.
• Abstract（参考訳）: ニューラル・コラプス(Neural Collapse)は、深層分類器におけるスパース構造と低階構造を特定するのに役立つ現象である。 最近の研究は、最後の層でのみ現象を測定するにもかかわらず、神経崩壊の定義を回帰問題に拡張した。 本稿では,NRC(Neural Regression Collapse)が,異なるタイプのモデルに対して最終層の下にも発生することを確かめる。 神経回帰モデルの崩壊層では, 対象の次元に対応する部分空間に特徴が配置され, 特徴共分散は対象の共分散と一致し, 層重みの入力部分空間は特徴部分空間と一致し, 特徴の線形予測誤差はモデル全体の予測誤差に近いことを示す。 また、Deep NRCの確立に加えて、Deep NRCを示すモデルは、低ランクターゲットの内在次元を学習し、Deep NRCを誘導する際の重量減衰の必要性を探求する。 本稿では、回帰の文脈で深層ネットワークによって学習された単純な構造のより完全な図式を提供する。

関連論文リスト

• The Prevalence of Neural Collapse in Neural Multivariate Regression [3.691119072844077]
  ニューラルネットワークは、分類問題に対するトレーニングの最終段階において、ニューラルネットワークがニューラル・コラプス(NC)を示すことを示す。 我々の知る限り、これは回帰の文脈における神経崩壊に関する最初の経験的、理論的研究である。
  論文  参考訳（メタデータ） (2024-09-06T10:45:58Z)
• Average gradient outer product as a mechanism for deep neural collapse [26.939895223897572]
  Deep Neural Collapse (DNC)は、Deep Neural Networks (DNN)の最終層におけるデータ表現の驚くほど硬い構造を指す。 本研究では,平均勾配外積(AGOP)を通した特徴学習によりDNCが生成するデータ依存環境を提案する。 特徴学習体制下で訓練されたニューラルネットワークに対して,適切な特異ベクトルと重みの値が,クラス内変動の崩壊の大部分の原因となることを示す。
  論文  参考訳（メタデータ） (2024-02-21T11:40:27Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• A Neural Collapse Perspective on Feature Evolution in Graph Neural Networks [44.31777384413466]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの分類タスクでますます人気が高まっている。 本稿では,ノードワイズ分類に着目し,ニューラル崩壊現象のレンズによる特徴進化を考察する。 我々は、「最適」な数学的モデルでさえ、グラフが正確な崩壊を伴う最小値を持つためには厳密な構造条件に従う必要があることを示した。
  論文  参考訳（メタデータ） (2023-07-04T23:03:21Z)
• Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced Data [12.225207401994737]
  大量のパラメータを持つ複雑な系は、収束するまでのトレーニングで同じ構造を持つことを示す。 特に、最終層の特徴がクラス平均に崩壊することが観察されている。 本結果は,最終層の特徴と分類器をベクトルからなる幾何学へ収束させることを示す。
  論文  参考訳（メタデータ） (2023-01-01T16:29:56Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• An Unconstrained Layer-Peeled Perspective on Neural Collapse [20.75423143311858]
  非拘束層列モデル (ULPM) と呼ばれるサロゲートモデルを導入する。 このモデル上の勾配流は、その大域的最小化器における神経崩壊を示す最小ノルム分離問題の臨界点に収束することを示す。 また,本研究の結果は,実世界のタスクにおけるニューラルネットワークのトレーニングにおいて,明示的な正規化や重み劣化が使用されない場合にも有効であることを示す。
  論文  参考訳（メタデータ） (2021-10-06T14:18:47Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。