論文の概要: Scalar Representations of Neural Network Training Dynamics
- arxiv url: http://arxiv.org/abs/2606.30384v1
- Date: Mon, 29 Jun 2026 14:40:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.284998
- Title: Scalar Representations of Neural Network Training Dynamics
- Title（参考訳）: ニューラルネットワークトレーニングダイナミクスのスカラー表現
- Abstract要約: 人工ニューラルネットワークのトレーニングは、高次元のロスランドスケープを通して進化する軌道と見なすことができる。
このようなスカラー埋め込みがニューラルネットワークのトレーニング力学の低次元表現に意味があるかどうかを考察する。
- 参考スコア（独自算出の注目度）: 1.9583341377413463
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training in artificial neural networks can be viewed as a trajectory evolving through a high-dimensional loss landscape. However, the large number of trainable parameters makes the direct analysis of these dynamics challenging. In this work, we treat such training trajectories as temporal networks and apply recently proposed strategies for the scalar embedding of temporal networks. We investigate whether such a scalar embedding provides a meaningful low-dimensional representation of neural network training dynamics. Using a multilayer perceptron trained on the MNIST classification task, we show that the embedding preserves the main dynamical features observed in the original parameter space, including the emergence of sensitivity to initial conditions for specific learning rate regimes and an accurate reconstruction of the network's maximum Lyapunov exponent. We then use the embedded scalar trajectory to define a characteristic time, analogous to a Lyapunov time, after which the exponential separation between initially close embedded trajectories saturates. This characteristic time captures the typical decorrelation time between initially close network trajectories in the original high-dimensional system. Finally, we investigate the statistical organization of asymptotic training states through a spacing observable defined in the embedded space. We find that the distributions of rescaled asymptotic spacings collapse onto a common form across initial conditions and are compatible with a skew lognormal distribution. Altogether, our results suggest that scalar low-dimensional embeddings provide a useful framework for studying and visualizing the dynamical properties of neural network optimization trajectories.
- Abstract（参考訳）: 人工ニューラルネットワークのトレーニングは、高次元のロスランドスケープを通して進化する軌道と見なすことができる。
しかし、トレーニング可能なパラメータの数が多ければ多いほど、これらのダイナミクスを直接解析することは困難である。
本研究では,このような学習軌跡を時間的ネットワークとして扱うとともに,時間的ネットワークのスカラー埋め込みのための戦略を最近提案した。
このようなスカラー埋め込みがニューラルネットワークのトレーニング力学の低次元表現に意味があるかどうかを考察する。
MNIST分類タスクで訓練された多層パーセプトロンを用いて, ネットワークの最大リアプノフ指数の正確な再構成や, 特定の学習率条件に対する初期条件に対する感度の出現を含む, 元のパラメータ空間で観測された主な動的特徴を, 埋め込みにより保存することを示す。
次に、埋め込みスカラー軌道を用いて、ラプノフ時間に類似した特性時間を定義し、その後、最初に閉じた埋め込み軌道間の指数的分離が飽和する。
この特性時間は、もともとの高次元システムにおいて、初期閉鎖されたネットワーク軌跡間の典型的なデコリレーション時間をキャプチャする。
最後に, 組込み空間で定義されたスペーシングオブザーバブルを用いて, 漸近的トレーニング状態の統計組織について検討する。
再スケールした漸近スペーシングの分布は初期条件で共通形に崩壊し,スキュー対数正規分布と互換性があることが判明した。
また,スカラー低次元埋め込みは,ニューラルネットワーク最適化トラジェクトリの動的特性を研究・可視化する上で有用なフレームワークであることが示唆された。
関連論文リスト
- rETF-semiSL: Semi-Supervised Learning for Neural Collapse in Temporal Data [44.17657834678967]
本稿では,ニューラル・コラプス現象を満たす潜在表現を強制する,新しい半教師付き事前学習戦略を提案する。
LSTM, トランスフォーマー, 状態空間モデルに適用した場合, 従来のプリテキストタスクよりも有意に優れることを示す。
論文 参考訳（メタデータ） (2025-08-13T19:16:47Z) - Leveraging chaos in the training of artificial neural networks [3.379574469735166]
従来とは違って大きな学習率のトレーニングに沿って、ニューラルネットワークの軌道のダイナミクスを探求する。
学習率の値の領域において、GD最適化は純粋に活用可能なアルゴリズムから探索・探索バランスの体制へと移行することを示す。
論文 参考訳（メタデータ） (2025-06-10T07:41:58Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。
トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
論文 参考訳（メタデータ） (2024-03-12T07:32:47Z) - Implicit regularization of deep residual networks towards neural ODEs [8.075122862553359]
我々は、ニューラルネットワークに対する深い残留ネットワークの暗黙的な正規化を確立する。
ネットワークがニューラルなODEの離散化であるなら、そのような離散化はトレーニングを通して維持される。
論文 参考訳（メタデータ） (2023-09-03T16:35:59Z) - Stabilizing RNN Gradients through Pre-training [3.335932527835653]
学習理論は、勾配が深さや時間で指数関数的に成長するのを防ぎ、トレーニングを安定させ改善することを提案する。
我々は、既知の安定性理論を拡張し、データとパラメータの分布について最小限の仮定を必要とするディープ・リカレント・ネットワークの幅広いファミリーを包含する。
本稿では,この問題を緩和するための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-23T11:48:35Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z) - Input-to-State Representation in linear reservoirs dynamics [15.491286626948881]
貯留層コンピューティングは、リカレントニューラルネットワークを設計するための一般的なアプローチである。
これらのネットワークの動作原理は、完全には理解されていない。
このようなネットワークの力学の新たな解析法を提案する。
論文 参考訳（メタデータ） (2020-03-24T00:14:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。