論文の概要: On the Cone Effect in the Learning Dynamics

• arxiv url: http://arxiv.org/abs/2503.16316v1
• Date: Thu, 20 Mar 2025 16:38:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:33:42.551025
• Title: On the Cone Effect in the Learning Dynamics
• Title（参考訳）: 学習力学におけるコーン効果について
• Authors: Zhanpeng Zhou, Yongyi Yang, Jie Ren, Mahito Sugiyama, Junchi Yan,
• Abstract要約: 実世界の環境でのニューラルネットワークの学習力学を実証的に研究する。 第一相ではeNTKが著しく進化し、第二相ではeNTKが、第二相ではeNTKは進化し続けるが、狭い空間では制約される。
• 参考スコア（独自算出の注目度）: 57.02319387815831
• License:
• Abstract: Understanding the learning dynamics of neural networks is a central topic in the deep learning community. In this paper, we take an empirical perspective to study the learning dynamics of neural networks in real-world settings. Specifically, we investigate the evolution process of the empirical Neural Tangent Kernel (eNTK) during training. Our key findings reveal a two-phase learning process: i) in Phase I, the eNTK evolves significantly, signaling the rich regime, and ii) in Phase II, the eNTK keeps evolving but is constrained in a narrow space, a phenomenon we term the cone effect. This two-phase framework builds on the hypothesis proposed by Fort et al. (2020), but we uniquely identify the cone effect in Phase II, demonstrating its significant performance advantages over fully linearized training.
• Abstract（参考訳）: ニューラルネットワークの学習力学を理解することは、ディープラーニングコミュニティの中心的なトピックである。 本稿では,実環境におけるニューラルネットワークの学習力学を実証的に研究する。 具体的には,経験的ニューラルネットワークカーネル(eNTK)の学習過程について検討する。 私たちのキーとなる発見は、2段階の学習プロセスである。 一 第一相において、eNTKは、富裕な体制を象徴し、著しく進化する。 i) 第二相では、eNTKは進化し続けるが、狭い空間で制約される現象であり、この現象はコーン効果(cone effect)と呼ばれる。 この2相のフレームワークはFort et al (2020) が提唱した仮説に基づいているが、第2相におけるコーン効果を一意に同定し、完全線形化トレーニングよりも優れた性能上の優位性を証明している。

関連論文リスト

• Collective variables of neural networks: empirical time evolution and scaling laws [0.535514140374842]
  実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレースのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現についての洞察が得られることを示す。 結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
  論文  参考訳（メタデータ） (2024-10-09T21:37:14Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Connecting NTK and NNGP: A Unified Theoretical Framework for Wide Neural Network Learning Dynamics [6.349503549199403]
  我々は、ディープ・ワイド・ニューラルネットワークの学習プロセスのための包括的なフレームワークを提供する。 拡散相を特徴づけることで、私たちの研究は脳内の表現的ドリフトに光を当てます。
  論文  参考訳（メタデータ） (2023-09-08T18:00:01Z)
• Phase Diagram of Initial Condensation for Two-layer Neural Networks [4.404198015660192]
  2層ニューラルネットワークの初期凝縮の位相図を示す。 私たちのフェーズダイアグラムは、ニューラルネットワークの動的構造を包括的に理解するのに役立ちます。
  論文  参考訳（メタデータ） (2023-03-12T03:55:38Z)
• Catapult Dynamics and Phase Transitions in Quadratic Nets [10.32543637637479]
  カタパルト相は2層モデルと2層同種ニューラルネットを含む多種モデルのモデルに存在することを証明します。 一定範囲の学習率において,損失が大きいと重みノルムが低下することを示す。 また、この理論的に導出された範囲を超えて学習率を実証的に研究し、超臨界学習率で訓練されたReLUネットの活性化マップが、学習率を増加させるにつれて、より疎結合になることを示す。
  論文  参考訳（メタデータ） (2023-01-18T19:03:48Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• The Three Stages of Learning Dynamics in High-Dimensional Kernel Methods [14.294357100033954]
  我々は、SGDトレーニングニューラルネットワークの制限力学である、最小二乗目的のフローのトレーニング力学を考察する。 SGDはより複雑な関数を徐々に学習し、「深い勾配」現象が存在することを示す。
  論文  参考訳（メタデータ） (2021-11-13T18:29:36Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。