論文の概要: A ghost mechanism: An analytical model of abrupt learning

• arxiv url: http://arxiv.org/abs/2501.02378v1
• Date: Sat, 04 Jan 2025 20:49:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:08:21.661963
• Title: A ghost mechanism: An analytical model of abrupt learning
• Title（参考訳）: ゴーストメカニズム:突発学習の分析モデル
• Authors: Fatih Dinc, Ege Cirakman, Yiqi Jiang, Mert Yuksekgonul, Mark J. Schnitzer, Hidenori Tanaka,
• Abstract要約: 一次元のシステムでさえ、分岐よりもゴーストポイントを通して突然学習できることを示す。 本モデルは,突発学習のための分岐のない機構を明らかにし,学習力学の安定化における意図的不確実性と冗長性の両方の重要性を示す。
• 参考スコア（独自算出の注目度）: 6.509233267425589
• License:
• Abstract: \emph{Abrupt learning} is commonly observed in neural networks, where long plateaus in network performance are followed by rapid convergence to a desirable solution. Yet, despite its common occurrence, the complex interplay of task, network architecture, and learning rule has made it difficult to understand the underlying mechanisms. Here, we introduce a minimal dynamical system trained on a delayed-activation task and demonstrate analytically how even a one-dimensional system can exhibit abrupt learning through ghost points rather than bifurcations. Through our toy model, we show that the emergence of a ghost point destabilizes learning dynamics. We identify a critical learning rate that prevents learning through two distinct loss landscape features: a no-learning zone and an oscillatory minimum. Testing these predictions in recurrent neural networks (RNNs), we confirm that ghost points precede abrupt learning and accompany the destabilization of learning. We demonstrate two complementary remedies: lowering the model output confidence prevents the network from getting stuck in no-learning zones, while increasing trainable ranks beyond task requirements (\textit{i.e.}, adding sloppy parameters) provides more stable learning trajectories. Our model reveals a bifurcation-free mechanism for abrupt learning and illustrates the importance of both deliberate uncertainty and redundancy in stabilizing learning dynamics.
• Abstract（参考訳）: \emph{Abrupt learning} はニューラルネットワークで一般的に見られ、ネットワーク性能の長いプラトーが続くと、望ましい解に迅速に収束する。 しかし,タスク,ネットワークアーキテクチャ,学習ルールの複雑な相互作用は,その基盤となるメカニズムを理解するのを困難にしている。 そこで本研究では,遅延活性化タスクで訓練された最小限の力学系を導入し,一次元システムでさえ,分岐よりもゴーストポイントによる急激な学習をいかに実現できるかを解析的に示す。 おもちゃのモデルを通して、ゴーストポイントの出現が学習力学を不安定にすることを示す。 学習ゾーンの非学習と発振最小値の2つの異なる損失ランドスケープ特徴による学習を阻止する臨界学習率を同定する。 これらの予測をリカレントニューラルネットワーク(RNN)で検証し、ゴーストポイントが突然の学習に先行し、学習の不安定化を伴うことを確認した。 モデル出力の信頼性を低下させることで、ネットワークが非学習ゾーンで行き詰まるのを防ぐと同時に、タスク要求を超えるトレーニング可能なランク(sloppyパラメータの追加、sloppyパラメータの追加)を増やすことで、より安定した学習トラジェクトリを提供する。 本モデルは,突発学習のための分岐のない機構を明らかにし,学習力学の安定化における意図的不確実性と冗長性の両方の重要性を示す。

関連論文リスト

• Get rich quick: exact solutions reveal how unbalanced initializations promote rapid feature learning [26.07501953088188]
  本研究では,非平衡層固有の初期化分散と学習速度が特徴学習の度合いを決定するかを検討する。 分析の結果,保存量によって学習体制に影響を及ぼすことが示唆された。 我々は、この不均衡なリッチレジームが、深い有限幅ネットワークにおける特徴学習を駆動し、CNNにおける初期層の解釈可能性を促進し、階層データの学習の複雑さを減らし、モジュラー算術の時間を短縮することを示す。
  論文  参考訳（メタデータ） (2024-06-10T10:42:37Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Sparsity and Heterogeneous Dropout for Continual Learning in the Null Space of Neural Activations [36.24028295650668]
  非定常的な入力データストリームからの連続的/長期的学習は知性の基盤である。 ディープニューラルネットワークは、新しいものを学ぶ際に、これまで学んだ情報を忘れる傾向がある。 近年、ディープニューラルネットワークにおける破滅的な忘れを乗り越えることが、研究の活発な分野となっている。
  論文  参考訳（メタデータ） (2022-03-12T21:12:41Z)
• Statistical Mechanical Analysis of Catastrophic Forgetting in Continual Learning with Teacher and Student Networks [5.209145866174911]
  計算システムが絶えず変化する環境から学習すると、その過去の経験を急速に忘れてしまう。 教師-学生学習を用いて破滅的な忘れを解析するための理論的枠組みを提供する。 その結果,入力分布の類似度が小さく,対象関数の入出力関係が大きい場合,ネットワークは壊滅的な記憶を回避できることがわかった。
  論文  参考訳（メタデータ） (2021-05-16T09:02:48Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
  破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。 本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
  論文  参考訳（メタデータ） (2020-06-12T06:00:27Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。