論文の概要: Dynamical stability and chaos in artificial neural network trajectories along training

• arxiv url: http://arxiv.org/abs/2404.05782v1
• Date: Mon, 8 Apr 2024 17:33:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 18:48:28.550542
• Title: Dynamical stability and chaos in artificial neural network trajectories along training
• Title（参考訳）: ニューラルネットワークの訓練過程における動的安定性とカオス
• Authors: Kaloyan Danovski, Miguel C. Soriano, Lucas Lacasa,
• Abstract要約: 浅いニューラルネットワークのネットワーク軌跡をこのレンズを通して解析することにより,このプロセスの動的特性について検討する。 我々は,学習率の仕組みによって,規則的かつカオス的な行動のヒントを見いだす。 この研究は、力学系理論、ネットワーク理論、機械学習のアイデアの交叉受精にも貢献している。
• 参考スコア（独自算出の注目度）: 3.379574469735166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The process of training an artificial neural network involves iteratively adapting its parameters so as to minimize the error of the network's prediction, when confronted with a learning task. This iterative change can be naturally interpreted as a trajectory in network space -- a time series of networks -- and thus the training algorithm (e.g. gradient descent optimization of a suitable loss function) can be interpreted as a dynamical system in graph space. In order to illustrate this interpretation, here we study the dynamical properties of this process by analyzing through this lens the network trajectories of a shallow neural network, and its evolution through learning a simple classification task. We systematically consider different ranges of the learning rate and explore both the dynamical and orbital stability of the resulting network trajectories, finding hints of regular and chaotic behavior depending on the learning rate regime. Our findings are put in contrast to common wisdom on convergence properties of neural networks and dynamical systems theory. This work also contributes to the cross-fertilization of ideas between dynamical systems theory, network theory and machine learning
• Abstract（参考訳）: ニューラルネットワークをトレーニングするプロセスでは、学習タスクに直面した際のネットワークの予測エラーを最小限に抑えるために、パラメータを反復的に適応させる。 この反復的変化は、ネットワーク空間(ネットワークの時系列)における軌道として自然に解釈できるので、トレーニングアルゴリズム(例えば、適切な損失関数の勾配勾配の最適化)は、グラフ空間における力学系として解釈できる。 この解釈を説明するために、このレンズを通して浅層ニューラルネットワークのネットワーク軌跡を解析し、その進化を簡単な分類課題の学習を通して研究する。 学習速度の異なる範囲を体系的に検討し、得られたネットワーク軌跡の動的および軌道的安定性を探索し、学習速度の規則的およびカオス的行動のヒントを求める。 ニューラルネットワークの収束特性と力学系理論の共通知恵とは対照的である。 この研究は、動的システム理論、ネットワーク理論、機械学習の間のアイデアのクロスファーティライズにも貢献する。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Exploiting Chaotic Dynamics as Deep Neural Networks [1.9282110216621833]
  カオスの本質は、様々な最先端のディープニューラルネットワークで見ることができる。 本フレームワークは精度,収束速度,効率の点で優れた結果を提示する。 この研究は、情報処理において長い間見過ごされてきたカオスの統合のための新しい道を提供する。
  論文  参考訳（メタデータ） (2024-05-29T22:03:23Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Identifying Equivalent Training Dynamics [3.793387630509845]
  共役および非共役のトレーニングダイナミクスを識別するフレームワークを開発する。 クープマン作用素理論の進歩を利用して、クープマン固有値を比較することで、オンラインミラー降下とオンライン勾配降下の既知同値を正しく同定できることを実証する。 a)浅層ニューラルネットワークと広層ニューラルネットワークの間の非共役トレーニングダイナミクスの同定、(b)畳み込みニューラルネットワークにおけるトレーニングダイナミクスの初期段階の特徴付け、(c)グルーキングを行わないトランスフォーマーにおける非共役トレーニングダイナミクスの発見。
  論文  参考訳（メタデータ） (2023-02-17T22:15:20Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Analysis of Nonlinear Civil Engineering Structures using Artificial Neural Network with Adaptive Training [2.1202971527014287]
  本研究では,適応学習アルゴリズムを用いて人工ニューラルネットワークを開発した。 実地運動記録に対するせん断フレームと岩体構造の時間履歴応答をネットワークで予測できる。
  論文  参考訳（メタデータ） (2021-11-21T21:14:48Z)
• Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
  ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。 これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。 以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T17:33:51Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• A Principle of Least Action for the Training of Neural Networks [10.342408668490975]
  ネットワークの輸送マップに低運動エネルギー偏差バイアスが存在することを示し、このバイアスと一般化性能を関連づける。 本稿では,与えられたタスクの複雑さに自動的に適応する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-17T15:37:34Z)
• Input-to-State Representation in linear reservoirs dynamics [15.491286626948881]
  貯留層コンピューティングは、リカレントニューラルネットワークを設計するための一般的なアプローチである。 これらのネットワークの動作原理は、完全には理解されていない。 このようなネットワークの力学の新たな解析法を提案する。
  論文  参考訳（メタデータ） (2020-03-24T00:14:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。