論文の概要: Dimension-Corrected Hitting Times for Heavy-Tailed Spectral Emergence in Neural Optimizer Dynamics
- arxiv url: http://arxiv.org/abs/2609.12994v1
- Date: Fri, 10 Jul 2026 19:21:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.509795
- Title: Dimension-Corrected Hitting Times for Heavy-Tailed Spectral Emergence in Neural Optimizer Dynamics
- Title（参考訳）: ニューラルオプティマイザダイナミクスにおける重機型スペクトル創発のための次元補正型ハッティング時間
- Abstract要約: 直撃時問題としてのスペクトル重尾形成
第1段階のスパイク・バルクギャップだけでは、開始時刻は説明できない。
我々は、線形ネットワークにおける正確な早期損失ダイナミクスが因子スペクトルの尾を決定できないことを証明した。
- 参考スコア（独自算出の注目度）: 0.5076419064097734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Heavy-tailed empirical spectral densities of neural-network weight matrices are widely used as diagnostics of implicit self-regularization, but the step complexity of heavy-tail emergence remains poorly understood. We formulate spectral heavy-tail formation as a right-censored hitting-time problem: a run that does not reach a heavy-tail diagnostic within the observation horizon is treated as censored rather than discarded. In controlled full-batch teacher--student dynamics, we find that the first-step spike--bulk gap alone does not explain onset time. Instead, finite-onset regression supports a dimension-corrected spectral-gap law, (τ_{\mathrm{HT}}\approx CΔ_1^{-γ}d^ρ), with (R^2=0.683), (γ=0.626), and (ρ=0.772) across 330 completed runs. Right-censored lognormal accelerated-failure-time models further favor the dimension-corrected model over a gap-only model, improving AIC from 706.62 to 628.70. Theoretically, we prove that exact early loss dynamics in linear networks do not determine factor spectral tails, that Adam recurrences alone do not imply spectral redistribution, and that projected singular-basis spreading implies contraction of a spectral-tail potential and hence a dimension-corrected hitting-time bound. Empirically, projected-kernel profiles support the sufficient spreading mechanism, Adam and AdamW agree under tested grids, GD and signGD do not reach onset in the same regimes, and real pretrained Qwen2.5-0.5B and Pythia-70M transformer weights show non-Gaussian spectral-tail structure relative to matched Gaussian nulls. The result is a reproducible spectral hitting-time law with rigorous conditional theory, not a claim that Adam necessarily generates heavy tails from first principles.
- Abstract（参考訳）: ニューラルネットワーク重畳行列の重み付き経験スペクトル密度は暗黙的な自己正則化の診断として広く用いられているが、重み付き出現のステップ複雑性はいまだに理解されていない。
観測地平線内における重テール診断に到達しない走行は、廃棄されるのではなく検閲される。
制御されたフルバッチ教師-学生のダイナミクスでは、第一段階のスパイク-バルクギャップだけではオンセット時間を説明することができない。
代わりに、有限オンセット回帰は次元補正されたスペクトルギャップ法則(τ_{\mathrm{HT}}\approx CΔ_1^{-γ}d^ρ)をサポートし、(R^2=0.683), (γ=0.626), (ρ=0.772) は330回の完備実行にまたがる。
右チャージされた対数正規化の加速時間モデルでは、ギャップのみのモデルよりも次元補正モデルが好まれ、AICは706.62から628.70に改善された。
理論的には、線形ネットワークにおける正確な早期損失ダイナミクスが因子スペクトルの尾部を決定できないこと、アダムの再帰だけではスペクトル再分配を含まないこと、投影された特異基底はスペクトルテールポテンシャルの収縮を示唆し、従って次元補正されたヒットタイム境界を導くことを証明している。
実証的に、投影されたカーネルプロファイルは十分な拡散機構をサポートし、AdamとAdamWは試験格子の下で合意し、GDとsignGDは同じ状態ではオンセットに到達せず、実際の事前訓練されたQwen2.5-0.5BとPythia-70Mトランスフォーマーウェイトは、一致するガウスのヌルに対して非ガウスのスペクトルテール構造を示す。
その結果は厳密な条件理論を持つ再現可能なスペクトル打撃時間法則であり、アダムが必ずしも第一原理から重い尾を生成できるという主張ではない。
関連論文リスト
- Spectral-Aware Analytic Class-Incremental Learning for Long-Tailed Distributions [17.58096703161218]
解析的連続学習は、勾配に基づくアプローチに対する計算的に効率的な代替手段を提供する。
近年のACL法は, 長期分布を特徴とする授業増進学習のシナリオにおいて, 大きく変化している。
本稿では,長期学習をスペクトル正則化問題として扱う理論的基盤の枠組みである幾何スペクトル整流法(GSR)を提案する。
論文 参考訳（メタデータ） (2026-07-24T22:12:15Z) - Spectrally Deconfounded Gradient Boosting [10.803532361460741]
我々は勾配向上のための非線形スペクトル分解フレームワークを開発する。
スペクトル損失だけでは分解は達成されないことを示す。
また、この手法を一般確率や非線形共起にまで拡張する。
論文 参考訳（メタデータ） (2026-07-10T12:51:42Z) - Correcting Neural Operator Spectral Bias via Diffusion Posterior Sampling with Sparse Observations [0.0]
ニューラル作用素は、数値解法よりも桁違いに高速な近似PDE解を代理する。
磁場のスパースセンサー測定もしばしば利用可能であり、スペクトル歪みを伴わないポイントワイズ精度を提供する。
拡散後サンプリングフレームワークにおけるNO予測を補助観測として扱うことでこの問題に対処する。
論文 参考訳（メタデータ） (2026-06-02T17:26:15Z) - The Stability of Singular Distribution: A Spectral Perspective on the Two-Phase Dynamics of Language Model Pre-training [48.37150760049573]
そこで我々は, スペクトル分布の安定性 (SoSD) を推定し, そこではトレース正規化特異値スペクトルが早期に安定化する。
我々は,SoSDと緩やかな周期の同期が多種多様なアーキテクチャで広く観測されていることを実証した。
我々は、WSDやMuonのような戦略をさらに解釈し、SOSDスケールを変調し、効率的な事前学習ダイナミクスを理解するためのスペクトルレンズを提供する。
論文 参考訳（メタデータ） (2026-05-26T03:03:24Z) - Non-normal spectral signatures of instability in neural network training dynamics [0.5307735857768683]
実用用途の線形化更新演算子は一般には非正規であることを示す。
これらの作用素に非正規安定理論を適用することにより、(V)が過渡増幅の早期警戒指標となる保守的な擬スペクトル前駆体境界を導出する。
論文 参考訳（メタデータ） (2026-05-22T10:36:48Z) - Coverage Analysis of Rydberg Atom Quantum Receiver Arrays: A Stochastic Geometry Approach [55.47164192369501]
ライドバーグ原子量子受信機(RAQR)は、量子制限感度とブロードバンドチューナビリティを提供する。
密集した展開において、集合的干渉は原子トランスデューサを小さな信号状態から外すことができる。
本稿では、RAQRフロントエンドを幾何学的カバレッジ分析に埋め込むことで、この問題に対処する。
論文 参考訳（メタデータ） (2026-05-22T04:05:13Z) - Plug-and-Play Diffusion Meets ADMM: Dual-Variable Coupling for Robust Medical Image Reconstruction [45.25461515976432]
画像再構成のための強力なパラダイムとして,DP(Plug-and-Play diffusion prior)フレームワークが登場した。
本稿では, バイアス・ハロシン化トレードオフを解消し, 収束を著しく加速した最先端の勾配を実現するための新しい手法を提案する。
論文 参考訳（メタデータ） (2026-02-26T16:58:43Z) - Correcting False Alarms from Unseen: Adapting Graph Anomaly Detectors at Test Time [60.341117019125214]
グラフ異常検出(GAD)における未確認正規pattErnsの修正のための,軽量かつプラグアンドプレイなテスト時間適応フレームワークを提案する。
意味的混乱に対処するために、シフトしたデータと元のデータとをグラフ属性レベルで整合させるグラフ整合器を用いる。
10個の実世界のデータセットに対する大規模な実験により、TUNEは事前学習されたGADモデルの合成パターンと実際の見えない正常パターンの両方への一般化性を著しく向上することが示された。
論文 参考訳（メタデータ） (2025-11-10T12:10:05Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳（メタデータ） (2021-05-03T16:36:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。