論文の概要: Dynamical stability and chaos in artificial neural network trajectories along training
- arxiv url: http://arxiv.org/abs/2404.05782v1
- Date: Mon, 8 Apr 2024 17:33:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 18:48:28.550542
- Title: Dynamical stability and chaos in artificial neural network trajectories along training
- Title(参考訳): ニューラルネットワークの訓練過程における動的安定性とカオス
- Authors: Kaloyan Danovski, Miguel C. Soriano, Lucas Lacasa,
- Abstract要約: 浅いニューラルネットワークのネットワーク軌跡をこのレンズを通して解析することにより,このプロセスの動的特性について検討する。
我々は,学習率の仕組みによって,規則的かつカオス的な行動のヒントを見いだす。
この研究は、力学系理論、ネットワーク理論、機械学習のアイデアの交叉受精にも貢献している。
- 参考スコア(独自算出の注目度): 3.379574469735166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The process of training an artificial neural network involves iteratively adapting its parameters so as to minimize the error of the network's prediction, when confronted with a learning task. This iterative change can be naturally interpreted as a trajectory in network space -- a time series of networks -- and thus the training algorithm (e.g. gradient descent optimization of a suitable loss function) can be interpreted as a dynamical system in graph space. In order to illustrate this interpretation, here we study the dynamical properties of this process by analyzing through this lens the network trajectories of a shallow neural network, and its evolution through learning a simple classification task. We systematically consider different ranges of the learning rate and explore both the dynamical and orbital stability of the resulting network trajectories, finding hints of regular and chaotic behavior depending on the learning rate regime. Our findings are put in contrast to common wisdom on convergence properties of neural networks and dynamical systems theory. This work also contributes to the cross-fertilization of ideas between dynamical systems theory, network theory and machine learning
- Abstract(参考訳): ニューラルネットワークをトレーニングするプロセスでは、学習タスクに直面した際のネットワークの予測エラーを最小限に抑えるために、パラメータを反復的に適応させる。
この反復的変化は、ネットワーク空間(ネットワークの時系列)における軌道として自然に解釈できるので、トレーニングアルゴリズム(例えば、適切な損失関数の勾配勾配の最適化)は、グラフ空間における力学系として解釈できる。
この解釈を説明するために、このレンズを通して浅層ニューラルネットワークのネットワーク軌跡を解析し、その進化を簡単な分類課題の学習を通して研究する。
学習速度の異なる範囲を体系的に検討し、得られたネットワーク軌跡の動的および軌道的安定性を探索し、学習速度の規則的およびカオス的行動のヒントを求める。
ニューラルネットワークの収束特性と力学系理論の共通知恵とは対照的である。
この研究は、動的システム理論、ネットワーク理論、機械学習の間のアイデアのクロスファーティライズにも貢献する。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-03-18T18:01:01Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Vanilla feedforward neural networks as a discretization of dynamic
systems [6.4395686398659135]
本稿では,従来のネットワーク構造に戻り,バニラフィードフォワードネットワークが動的システムの数値的な離散化であることを示す。
我々の結果は、フィードフォワードニューラルネットワークの近似特性を理解するための新しい視点を提供することができる。
論文 参考訳(メタデータ) (2022-09-22T10:32:08Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Dynamic Analysis of Nonlinear Civil Engineering Structures using
Artificial Neural Network with Adaptive Training [2.1202971527014287]
本研究では,適応学習アルゴリズムを用いて人工ニューラルネットワークを開発した。
実地運動記録に対するせん断フレームと岩体構造の時間履歴応答をネットワークで予測できる。
論文 参考訳(メタデータ) (2021-11-21T21:14:48Z) - WeightScale: Interpreting Weight Change in Neural Networks [0.0]
本稿では,ニューラルネットワークの相対重み変化を層ごとの相対重み変化の測定によって解釈する手法を提案する。
我々はこの手法を用いて、様々な最先端ネットワークにおける視覚タスクの文脈における学習を調査する。
論文 参考訳(メタデータ) (2021-07-07T21:18:38Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳(メタデータ) (2021-02-22T17:33:51Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳(メタデータ) (2020-11-18T18:52:08Z) - A Principle of Least Action for the Training of Neural Networks [10.342408668490975]
ネットワークの輸送マップに低運動エネルギー偏差バイアスが存在することを示し、このバイアスと一般化性能を関連づける。
本稿では,与えられたタスクの複雑さに自動的に適応する新しい学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-09-17T15:37:34Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Input-to-State Representation in linear reservoirs dynamics [15.491286626948881]
貯留層コンピューティングは、リカレントニューラルネットワークを設計するための一般的なアプローチである。
これらのネットワークの動作原理は、完全には理解されていない。
このようなネットワークの力学の新たな解析法を提案する。
論文 参考訳(メタデータ) (2020-03-24T00:14:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。