論文の概要: Characterizing Optimizer-Dependent Training Dynamics Through Hessian Eigenvector Displacement and Localization
- arxiv url: http://arxiv.org/abs/2606.30226v1
- Date: Mon, 29 Jun 2026 12:39:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.218491
- Title: Characterizing Optimizer-Dependent Training Dynamics Through Hessian Eigenvector Displacement and Localization
- Title（参考訳）: Hessian Eigenvector 変位と局所化による最適学習ダイナミクスのキャラクタリゼーション
- Abstract要約: 我々は,指導的ヘッセン固有ベクトルが訓練中にどのように進化するかを研究する。
我々はAdamの下で局所化現象を観察し、そこではパラメータの小さな部分集合が鉛直曲方向と不均等に一致している。
- 参考スコア（独自算出の注目度）: 1.7434507809930746
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hessian spectral properties are a standard tool in analysing neural-network training, with eigenvalues linked to sharpness, generalization, and optimization dynamics. Eigenvalues quantify curvature magnitude, while eigenvectors identify which parameters generate that curvature. In this work, we study how the leading Hessian eigenvectors evolve during training and how they affect the learning trajectories. We track the training dynamics of multilayer perceptrons on a classification problem and measure eigenvector dynamics through two complementary statistics: (i) displacement over time, inspired by analyses of glassy systems, and (ii) localization via the inverse participation ratio. The metrics are compared against a random null model of the Hessian induced by the architecture. Our results reveal clear optimizer-dependent behaviour. SGD leads to progressively more stable leading curvature directions, while Adam exhibits substantially stronger reorganization of eigenvectors throughout training. We also observe a localization phenomenon under Adam, where a small subset of parameters contributes disproportionately to the leading curvature directions. These results suggest that Hessian eigenvector dynamics capture key differences in optimizer behaviour and the resulting training trajectories.
- Abstract（参考訳）: ヘッセンスペクトル特性は、シャープネス、一般化、最適化ダイナミクスに関連付けられた固有値を持つニューラルネットワークのトレーニングを解析するための標準ツールである。
固有値は曲率を定量化し、固有ベクトルはその曲率を生成するパラメータを識別する。
本研究では,指導的ヘッセン固有ベクトルが訓練中にどのように進化し,学習軌跡にどのように影響するかを検討する。
分類問題における多層パーセプトロンのトレーニングダイナミクスを追跡し、2つの相補的統計量を通して固有ベクトルダイナミクスを測定する。
一 ガラス系の解析に触発された経時的変位、及び
(ii)逆参加率によるローカライゼーション。
これらのメトリクスは、アーキテクチャによって誘導されるヘッセンのランダムなヌルモデルと比較される。
その結果,オプティマイザ依存行動が明らかとなった。
SGDは徐々に曲がり方角を安定させ、一方Adamは訓練を通して固有ベクトルのより強い再編成を示す。
また、Adamの下では、パラメータの小さな部分集合が先行する曲率方向に対して不均等に寄与する局所化現象も観察する。
これらの結果から,Hessian固有ベクトル力学はオプティマイザの挙動と結果として生じる訓練軌跡に重要な違いを捉えていることが示唆された。
関連論文リスト
- When Does Scale-Invariant Optimization Become Unstable? An Exact Schedule Law with Weight Decay [6.625270757109195]
標準成長は、反対の幾何学的自己整合効果を誘導する一方、1つの量で全てのスケジュールと崩壊の強制を捉えていることを示す。
これは、収縮と拡張が支配する効果的な学習率体制をきれいに分離する鋭い境界をもたらす。
論文 参考訳（メタデータ） (2026-09-08T17:46:17Z) - A Defense of the Quadratic Model [71.57026347416729]
最も単純な最適化モデル -- 二次モデル -- をテストする。
1億5000万のパラメータと3Bのトレーニングトークンを持つLLM設定で驚くほど予測可能であることを示す。
論文 参考訳（メタデータ） (2026-07-23T18:02:03Z) - Negligible in Size, Significant in Effect: On Scale Vectors in Large Language Models [22.345571415005722]
スケールベクトルはモデルパラメータの無視可能な部分のみを構成するが、モデル事前学習を著しく低下させることを示す。
我々の理論はさらに、プレノームアーキテクチャではスケールベクトルは表現性を高めず、その後の線形写像に対する自己増幅プレコンディショニング効果によって最適化を改善することを示している。
論文 参考訳（メタデータ） (2026-05-26T11:56:49Z) - PERSONA: Dynamic and Compositional Inference-Time Personality Control via Activation Vector Algebra [84.59328460968872]
大規模言語モデルにおけるパーソナリティ制御の現在の手法は、静的なプロンプトや高価な微調整に依存している。
ペルソナ(PERSONA)は、人格ベクトルを直接操作することで、微調整レベルのパフォーマンスを実現する訓練不要のフレームワークである。
PersonalityBenchでは、この手法は平均スコア9.60を達成し、教師付き微調整上界9.61とほぼ一致している。
論文 参考訳（メタデータ） (2026-02-17T15:47:58Z) - Localization from Infinitesimal Kinetic Grading: Critical Scaling and Kibble-Zurek Universality [0.0]
位置依存型近傍ホッピング振幅を持つ一次元格子モデルについて, パワーロープロファイルに従って検討した。
熱力学の極限では、基底状態は$||から0$として局所化され、局所化長のばらつきを特徴とする臨界点の存在を示唆する。
本研究は, 光学格子および超低温原子配列に関連し, 工学的なホッピングプロファイルを付加した, 清潔で無秩序な局所化経路を示すものである。
論文 参考訳（メタデータ） (2025-12-16T17:26:06Z) - In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。
この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
論文 参考訳（メタデータ） (2025-03-17T02:00:49Z) - Asymptotics of Linear Regression with Linearly Dependent Data [28.005935031887038]
非ガウス共変量の設定における線形回帰の計算について検討する。
本稿では,依存性が推定誤差と正規化パラメータの選択にどのように影響するかを示す。
論文 参考訳（メタデータ） (2024-12-04T20:31:47Z) - Understanding Optimization in Deep Learning with Central Flows [95.5647720254338]
複雑な状態における最適化のダイナミクスを記述できる理論を開発する。
この結果から,ディープラーニングの最適化を推論する上で,中央フローが重要な理論ツールとなる可能性が示唆された。
論文 参考訳（メタデータ） (2024-10-31T17:58:13Z) - Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。
トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
論文 参考訳（メタデータ） (2024-03-12T07:32:47Z) - Linearization and Identification of Multiple-Attractors Dynamical System
through Laplacian Eigenmaps [8.161497377142584]
速度拡張カーネルを利用したグラフベースのスペクトルクラスタリング手法を提案し,同じダイナミックスに属するデータポイントを接続する。
部分力学が線型であり、n-次元埋め込みが準線型であるような2次元埋め込み空間が常に存在することを証明する。
我々は、ラプラシアン埋め込み空間から元の空間への微分同相性を学び、ラプラシアン埋め込みが良好な再構成精度とより高速な訓練時間をもたらすことを示す。
論文 参考訳（メタデータ） (2022-02-18T12:43:25Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳（メタデータ） (2021-10-26T14:26:25Z) - Functional Space Analysis of Local GAN Convergence [26.985600125290908]
一般機能空間における対向訓練の局所的ダイナミクスについて検討する。
偏微分方程式の系としてどのように表現できるかを示す。
我々の視点では、GANの安定化によく使われる実践的なトリックについて、いくつかの洞察が得られている。
論文 参考訳（メタデータ） (2021-02-08T18:59:46Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。