論文の概要: Stochastic Estimation of the Layer-wise Hessian Trace for Monitoring Neural-network Training

• arxiv url: http://arxiv.org/abs/2605.25674v1
• Date: Mon, 25 May 2026 10:24:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.732166
• Title: Stochastic Estimation of the Layer-wise Hessian Trace for Monitoring Neural-network Training
• Title（参考訳）: ニューラルネットワーク学習のモニタリングのための階層的ヘッセントレースの確率的推定
• Authors: Maxim Bolshim, Alexander Kugaevskikh,
• Abstract要約: 本稿では,ニューラルネットワークの経験的リスクであるヘッセン行列の対角ブロックの軌跡のパラメータ推定器を提案する。 この手順はハッチンソントレース推定器とパラメータベクトル全体の上の1つのヘッセンベクトル積を組み合わせたものである。 重み分担の下での正しさは,第2次微分の前に階層的にヘッセンを組み立てる必要があることを示す。
• 参考スコア（独自算出の注目度）: 45.88028371034407
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The loss and the norm of its gradient separate the healthy and the pathological regimes of neural-network training only weakly, whilst the curvature of the empirical risk differs qualitatively between them but is inaccessible explicitly at parameter counts $P\sim 10^{6}-10^{8}$. We present a stochastic estimator of the trace of the diagonal blocks of the Hessian matrix of the empirical risk of a neural network. The procedure combines the Hutchinson stochastic trace estimator with a single Hessian-vector product over the whole parameter vector and recovers unbiased estimates of every per-layer trace in one backward pass through the computational graph. We show that correctness under weight sharing requires the layer-wise Hessian to be assembled before the second differentiation: unrolling shared weights into independent coordinates introduces a systematic bias whose sign and magnitude are governed by the cross-instance blocks of the unrolled Hessian. A closed-form expression for the variance of the estimator at a fixed Hessian is derived, together with a decomposition of the total variance under the mini-batch sampling distribution. This decomposition yields a critical probe count $K^{\star}$ that balances the two sources of randomness and supports the practical recommendation $K\in[5,10]$ in the on-line monitoring regime. The estimator is applied to the detection of the label-memorisation regime of ResNet-18, ResNet-34, and VGG-11 on CIFAR-10 and CIFAR-100, where a calibrated cumulative-sum decision rule attains an empirical detection power of $179/180$ at a false-alarm rate of $16/120$.
• Abstract（参考訳）: その勾配の損失とノルムは、ニューラルネットワークトレーニングの健全性と病理的な体制を弱く区別する一方、経験的リスクの曲率はその間に定性的に異なるが、パラメータ数$P\sim 10^{6}-10^{8}$で明示的にアクセスできない。 ニューラルネットワークの実験的リスクであるヘッセン行列の対角ブロックの軌跡の確率的推定器を提案する。 この手順はハッチンソン確率的トレース推定器とパラメータベクトル全体の上の1つのヘッセンベクトル積を組み合わせ、計算グラフを1つの後方通過する全ての層毎のトレースの偏りのない推定を復元する。 共有重みを独立座標にアンロールすると、符号と大きさがアンロールされたヘッセンのクロスインスタンスブロックによって支配される体系的バイアスが生じる。 固定ヘシアンにおける推定器の分散に対する閉形式表現は、ミニバッチサンプリング分布の下での全分散の分解とともに導出される。 この分解は、2つのランダム性源のバランスをとる臨界プローブ数$K^{\star}$を生成し、オンライン監視システムにおける実践的推奨$K\in[5,10]$をサポートする。 この推定器は、CIFAR-10およびCIFAR-100上のResNet-18、ResNet-34、VGG-11のラベル記憶状態の検出に適用される。

関連論文リスト

• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
  分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。 主な課題は、敵の計測と非同期である。 その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
  論文  参考訳（メタデータ） (2026-04-07T11:45:55Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Fundamental Limits of Community Detection in Contextual Multi-Layer Stochastic Block Models [4.312207944236305]
  高次元共変量行列と$L$スパースネットワークの合同観測からコミュニティ検出の問題を考える。 ネットワークの平均等級が一定であり,特徴数$p$が$n$に比例して増加するスパース体制では,対象ラベルの検出と推定が可能なシャープしきい値が導出される。 以上の結果から,この設定には統計的・計算的ギャップが存在しないことが示唆された。
  論文  参考訳（メタデータ） (2026-02-09T00:27:54Z)
• Analysis of Hessian Scaling for Local and Global Costs in Variational Quantum Algorithm [0.42970700836450487]
  変分量子アルゴリズムにおけるヘッセンのエントリーワイズ解の定量化を行う。 ショットノイズに対してヘッセン成分を解くのに必要なサンプルの複雑さを規定する2つの異なるスケーリング機構を示す。
  論文  参考訳（メタデータ） (2026-01-31T15:49:23Z)
• Benign Overfitting in Out-of-Distribution Generalization of Linear Models [19.203753135860016]
  我々は、アウト・オブ・ディストリビューション(OOD)体制における良心過剰の理解に向けて、最初の一歩を踏み出した。 我々は、標準的な隆起回帰において良性過剰適合が生じることを証明する非漸近保証を提供する。 また、より一般的な目標共分散行列の族についても理論的結果を示す。
  論文  参考訳（メタデータ） (2024-12-19T02:47:39Z)
• Langevin dynamics for high-dimensional optimization: the case of multi-spiked tensor PCA [8.435118770300999]
  本研究では,最大SNRに伴うスパイクの回復に必要なサンプルの複雑さが,シングルスパイクの場合のよく知られたアルゴリズムしきい値と一致することを示す。 重要なステップとして、高次元の軌道力学を捉えるスパイクと相互作用の詳細なキャラクタリゼーションを提供する。
  論文  参考訳（メタデータ） (2024-08-12T12:09:25Z)
• Estimation of Non-Crossing Quantile Regression Process with Deep ReQU Neural Networks [5.5272015676880795]
  本稿では,2次単位(ReQU)活性化深層ニューラルネットワークを用いた非分離モデルにおいて,QRP(quantile regression process)を推定するペナル化非パラメトリック手法を提案する。 推定されたQRPに対する非漸近的過剰リスク境界を確立し、軽度な滑らかさと規則性条件下で推定されたQRPに対する平均2乗誤差を導出する。
  論文  参考訳（メタデータ） (2022-07-21T12:26:45Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。