論文の概要: New Evidence of the Two-Phase Learning Dynamics of Neural Networks

• arxiv url: http://arxiv.org/abs/2505.13900v1
• Date: Tue, 20 May 2025 04:03:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.671284
• Title: New Evidence of the Two-Phase Learning Dynamics of Neural Networks
• Title（参考訳）: ニューラルネットワークの2相学習ダイナミクスの新しい証拠
• Authors: Zhanpeng Zhou, Yongyi Yang, Mahito Sugiyama, Junchi Yan,
• Abstract要約: 時間ウィンドウ全体にわたってネットワーク状態を比較するインターバルワイズ・パースペクティブを導入する。 摂動に対するネットワークの応答はカオスから安定への移行を示す。 また、この遷移点の後に、モデルの関数軌道は狭い円錐形の部分集合に制限される。
• 参考スコア（独自算出の注目度）: 59.55028392232715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how deep neural networks learn remains a fundamental challenge in modern machine learning. A growing body of evidence suggests that training dynamics undergo a distinct phase transition, yet our understanding of this transition is still incomplete. In this paper, we introduce an interval-wise perspective that compares network states across a time window, revealing two new phenomena that illuminate the two-phase nature of deep learning. i) \textbf{The Chaos Effect.} By injecting an imperceptibly small parameter perturbation at various stages, we show that the response of the network to the perturbation exhibits a transition from chaotic to stable, suggesting there is an early critical period where the network is highly sensitive to initial conditions; ii) \textbf{The Cone Effect.} Tracking the evolution of the empirical Neural Tangent Kernel (eNTK), we find that after this transition point the model's functional trajectory is confined to a narrow cone-shaped subset: while the kernel continues to change, it gets trapped into a tight angular region. Together, these effects provide a structural, dynamical view of how deep networks transition from sensitive exploration to stable refinement during training.
• Abstract（参考訳）: ディープニューラルネットワークがどのように学習するかを理解することは、現代の機械学習における根本的な課題である。 成長する証拠は、トレーニングのダイナミクスが相転移を行うことを示しているが、この遷移に対する我々の理解はいまだ不完全である。 本稿では、時間窓のネットワーク状態を比較し、深層学習の2相特性を照らす2つの新しい現象を明らかにする。 i) \textbf{The Chaos effect 以上の結果から,ネットワークの摂動に対する応答がカオスから安定への移行を示し,ネットワークが初期状態に非常に敏感な早期臨界期があることが示唆された。 ii) \textbf{The Cone effect 経験的ニューラル・タンジェント・カーネル(eNTK)の進化を追跡すると、この遷移点の後に、モデルの関数軌道は狭い円錐形の部分集合に制限される。 これらの効果は、深層ネットワークが、センシティブな探索から訓練中の安定した改善へとどのように移行するかを、構造的、動的に表現する。

関連論文リスト

• On the Cone Effect in the Learning Dynamics [57.02319387815831]
  実世界の環境でのニューラルネットワークの学習力学を実証的に研究する。 第一相ではeNTKが著しく進化し、第二相ではeNTKが、第二相ではeNTKは進化し続けるが、狭い空間では制約される。
  論文  参考訳（メタデータ） (2025-03-20T16:38:25Z)
• A ghost mechanism: An analytical model of abrupt learning [6.509233267425589]
  一次元のシステムでさえ、分岐よりもゴーストポイントを通して突然学習できることを示す。 本モデルは,突発学習のための分岐のない機構を明らかにし,学習力学の安定化における意図的不確実性と冗長性の両方の重要性を示す。
  論文  参考訳（メタデータ） (2025-01-04T20:49:20Z)
• Connecting NTK and NNGP: A Unified Theoretical Framework for Wide Neural Network Learning Dynamics [6.349503549199403]
  我々は、ディープ・ワイド・ニューラルネットワークの学習プロセスのための包括的なフレームワークを提供する。 拡散相を特徴づけることで、私たちの研究は脳内の表現的ドリフトに光を当てます。
  論文  参考訳（メタデータ） (2023-09-08T18:00:01Z)
• Stochastic Gradient Descent-Induced Drift of Representation in a Two-Layer Neural Network [0.0]
  脳や人工ネットワークで観察されているにもかかわらず、ドリフトのメカニズムとその意味は完全には理解されていない。 ピリフォーム大脳皮質における刺激依存性のドリフトに関する最近の実験結果に触発されて、我々はこの現象を2層線形フィードフォワードネットワークで研究するために理論とシミュレーションを用いた。
  論文  参考訳（メタデータ） (2023-02-06T04:56:05Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。