論文の概要: Depth, Not Data: An Analysis of Hessian Spectral Bifurcation

• arxiv url: http://arxiv.org/abs/2602.00545v1
• Date: Sat, 31 Jan 2026 06:17:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.249522
• Title: Depth, Not Data: An Analysis of Hessian Spectral Bifurcation
• Title（参考訳）: 深度, データではなく, ヘッセンスペクトル分岐の解析
• Authors: Shenyang Deng, Boyao Liao, Zhuoli Ouyang, Tianyu Pang, Yaoqing Yang,
• Abstract要約: ヘッセン行列の固有値分布は、ディープニューラルネットワークの風景を理解する上で重要な役割を果たす。 このようなスペクトル分岐は、データ不均衡とは無関係に、純粋にネットワークアーキテクチャから生じうることを実証する。 この結果から,深層ネットワークの最適化アルゴリズムを設計する際には,モデルアーキテクチャとデータ特性の両方を考慮すべきであることが示唆された。
• 参考スコア（独自算出の注目度）: 29.426396222985563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The eigenvalue distribution of the Hessian matrix plays a crucial role in understanding the optimization landscape of deep neural networks. Prior work has attributed the well-documented ``bulk-and-spike'' spectral structure, where a few dominant eigenvalues are separated from a bulk of smaller ones, to the imbalance in the data covariance matrix. In this work, we challenge this view by demonstrating that such spectral Bifurcation can arise purely from the network architecture, independent of data imbalance. Specifically, we analyze a deep linear network setup and prove that, even when the data covariance is perfectly balanced, the Hessian still exhibits a Bifurcation eigenvalue structure: a dominant cluster and a bulk cluster. Crucially, we establish that the ratio between dominant and bulk eigenvalues scales linearly with the network depth. This reveals that the spectral gap is strongly affected by the network architecture rather than solely by data distribution. Our results suggest that both model architecture and data characteristics should be considered when designing optimization algorithms for deep networks.
• Abstract（参考訳）: ヘッセン行列の固有値分布は、ディープニューラルネットワークの最適化状況を理解する上で重要な役割を果たす。 以前の研究は、いくつかの支配的固有値が小さな値のバルクから分離される、よく文書化された ``bulk-and-spike'' スペクトル構造が、データの共分散行列の不均衡に起因している。 本研究では,このようなスペクトル分岐が,データ不均衡とは無関係に,ネットワークアーキテクチャから純粋に生じることを実証することによって,この考え方に挑戦する。 具体的には、深い線形ネットワークのセットアップを分析し、データの共分散が完全に均衡している場合でも、Hessianは依然として分岐固有値構造(支配的クラスタとバルククラスタ)を示すことを証明している。 重要なことは、支配的な固有値とバルクな固有値の比率がネットワーク深さと線形に大きくなることを保証する。 このことは、スペクトルギャップがデータ分散にのみ影響されるのではなく、ネットワークアーキテクチャに強く影響されていることを示している。 この結果から,深層ネットワークの最適化アルゴリズムを設計する際には,モデルアーキテクチャとデータ特性の両方を考慮すべきであることが示唆された。

関連論文リスト

• Hodge-Aware Contrastive Learning [101.56637264703058]
  単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。 我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2023-09-14T00:40:07Z)
• A theory of data variability in Neural Network Bayesian inference [0.70224924046445]
  無限広ネットワークの一般化特性をカバーする場理論形式論を提供する。 入力の統計的性質から一般化特性を導出する。 データ可変性は、(varphi3+varphi4$)-理論を思い起こさせる非ガウス的作用をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-31T14:11:32Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• The SVD of Convolutional Weights: A CNN Interpretability Framework [3.5783190448496343]
  本稿では,ハイパーグラフを用いてクラス分離をモデル化する手法を提案する。 ネットワークを説明するためにアクティベーションを見るのではなく、各線形層に対して最大の対応する特異値を持つ特異ベクトルを用いて、ネットワークにとって最も重要な特徴を識別する。
  論文  参考訳（メタデータ） (2022-08-14T18:23:02Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Does the Data Induce Capacity Control in Deep Learning? [0.0]
  本稿では,データセットがディープネットワークの異常一般化性能の原因である可能性について検討する。 典型的な分類データセットのデータ相関行列は、急激な初期降下の後、指数関数的に広い範囲で多数の小さな固有値が均一に分布する固有スペクトルを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-27T04:40:27Z)
• ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction [32.489371527159236]
  この研究は、データ圧縮と識別表現の原理から、現代の深層(畳み込み)ネットワークを解釈することを目的とした、妥当な理論フレームワークの提供を試みる。 高次元マルチクラスデータに対して、最適な線形判別表現は、データセット全体と全てのサブセットの平均との符号化速度差を最大化することを示す。 速度減少目標を最適化するための基本的反復的勾配上昇スキームは,現代のディープネットワークの共通特性を共有する多層ディープネットワークであるReduNetに自然に導かれることを示す。
  論文  参考訳（メタデータ） (2021-05-21T16:29:57Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
  我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。