論文の概要: Local properties of neural networks through the lens of layer-wise Hessians

• arxiv url: http://arxiv.org/abs/2510.17486v1
• Date: Mon, 20 Oct 2025 12:34:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.451174
• Title: Local properties of neural networks through the lens of layer-wise Hessians
• Title（参考訳）: 層状ヘッセンレンズによるニューラルネットワークの局所特性
• Authors: Maxim Bolshim, Alexander Kugaevskikh,
• Abstract要約: 本稿では,階層型ヘッセン行列のレンズを用いたニューラルネットワーク解析手法を提案する。 この概念はパラメータ空間の局所幾何学を特徴づけるための公式なツールを提供する。
• 参考スコア（独自算出の注目度）: 45.88028371034407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a methodology for analyzing neural networks through the lens of layer-wise Hessian matrices. The local Hessian of each functional block (layer) is defined as the matrix of second derivatives of a scalar function with respect to the parameters of that layer. This concept provides a formal tool for characterizing the local geometry of the parameter space. We show that the spectral properties of local Hessians, such as the distribution of eigenvalues, reveal quantitative patterns associated with overfitting, underparameterization, and expressivity in neural network architectures. We conduct an extensive empirical study involving 111 experiments across 37 datasets. The results demonstrate consistent structural regularities in the evolution of local Hessians during training and highlight correlations between their spectra and generalization performance. These findings establish a foundation for using local geometric analysis to guide the diagnosis and design of deep neural networks. The proposed framework connects optimization geometry with functional behavior and offers practical insight for improving network architectures and training stability.
• Abstract（参考訳）: 本稿では,階層型ヘッセン行列のレンズを用いたニューラルネットワーク解析手法を提案する。 各関数ブロック(層)の局所ヘシアンは、その層のパラメータに関してスカラー関数の第2微分の行列として定義される。 この概念はパラメータ空間の局所幾何学を特徴づけるための公式なツールを提供する。 固有値の分布のような局所ヘッセンのスペクトル特性は、ニューラルネットワークアーキテクチャにおける過度適合、過度パラメータ化、表現性に関連する定量的パターンを明らかにする。 我々は37データセットにまたがる111の実験を含む広範な実験研究を行っている。 その結果, 局所ヘッセンの発達過程における構造的規則性の一貫性が示され, スペクトルと一般化性能の相関が強調された。 これらの知見は、深層ニューラルネットワークの診断と設計を導くために局所的幾何学的解析を使用する基盤を確立する。 提案フレームワークは最適化幾何と機能的振舞いを結合し,ネットワークアーキテクチャの改善とトレーニング安定性に関する実践的な洞察を提供する。

関連論文リスト

• Geometric Properties and Graph-Based Optimization of Neural Networks: Addressing Non-Linearity, Dimensionality, and Scalability [0.0]
  この研究は、幾何学的メトリクスとグラフ構造を通してニューラルネットワークを探索する。 これは、ニューラルネットワークを管理する幾何学構造についての限られた理解に対処する。 我々は,(1)線形分離可能性の限界を克服し,(2)次元・複雑さのトレードオフを管理すること,(3)グラフ表現によるスケーラビリティ向上という3つの主要な課題を特定する。
  論文  参考訳（メタデータ） (2025-02-24T03:36:34Z)
• Exploring the Manifold of Neural Networks Using Diffusion Geometry [7.038126249994092]
  ニューラルネットワークの隠蔽層表現間の距離を導入することにより,データポイントがニューラルネットワークである多様体を学習する。 これらの距離は非線形次元減少アルゴリズムPHATEに供給され、ニューラルネットワークの多様体を生成する。 解析の結果,高い性能のネットワークが一貫した埋め込みパターンを表示できることがわかった。
  論文  参考訳（メタデータ） (2024-11-19T16:34:45Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• Generalized Shape Metrics on Neural Representations [26.78835065137714]
  表現上の相似性を定量化する計量空間の族を提供する。 我々は、正準相関解析に基づいて既存の表現類似度尺度を修正し、三角形の不等式を満たす。 解剖学的特徴とモデル性能の観点から解釈可能な神経表現の関係を同定する。
  論文  参考訳（メタデータ） (2021-10-27T19:48:55Z)
• Localized Persistent Homologies for more Effective Deep Learning [60.78456721890412]
  ネットワークトレーニング中の位置を考慮に入れた新しいフィルタ機能を利用する手法を提案する。 この方法で訓練されたネットワークが抽出した曲線構造のトポロジを回復するのに役立つ道路の2次元画像と神経過程の3次元画像スタックを実験的に実証した。
  論文  参考訳（メタデータ） (2021-10-12T19:28:39Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles [0.0]
  ディープラーニングアーキテクチャの等価性を検出するための数値解析手法を開発した。 経験的証拠は、ニューラルアーキテクチャのスペクトル密度とそれに対応する共役円形アンサンブルの差が消えているという現象を裏付けている。
  論文  参考訳（メタデータ） (2020-06-14T12:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。