論文の概要: Curl Descent: Non-Gradient Learning Dynamics with Sign-Diverse Plasticity

• arxiv url: http://arxiv.org/abs/2510.02765v1
• Date: Fri, 03 Oct 2025 06:54:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.292396
• Title: Curl Descent: Non-Gradient Learning Dynamics with Sign-Diverse Plasticity
• Title（参考訳）: Curl Descent:手話の可塑性を持つ非勾配学習ダイナミクス
• Authors: Hugo Ninou, Jonathan Kadmon, N. Alex Cayco-Gajic,
• Abstract要約: 学習力学は、基本的には非段階的な「カール」のようなコンポーネントを含む可能性があることを示す。 小さなカール項は元の解多様体の安定性を保ち、勾配降下と同様の学習力学をもたらす。 この結果から,多様な学習規則を通した堅牢な学習を支援することのできる,特定のアーキテクチャを同定した。
• 参考スコア（独自算出の注目度）: 1.2744523252873352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient-based algorithms are a cornerstone of artificial neural network training, yet it remains unclear whether biological neural networks use similar gradient-based strategies during learning. Experiments often discover a diversity of synaptic plasticity rules, but whether these amount to an approximation to gradient descent is unclear. Here we investigate a previously overlooked possibility: that learning dynamics may include fundamentally non-gradient "curl"-like components while still being able to effectively optimize a loss function. Curl terms naturally emerge in networks with inhibitory-excitatory connectivity or Hebbian/anti-Hebbian plasticity, resulting in learning dynamics that cannot be framed as gradient descent on any objective. To investigate the impact of these curl terms, we analyze feedforward networks within an analytically tractable student-teacher framework, systematically introducing non-gradient dynamics through neurons exhibiting rule-flipped plasticity. Small curl terms preserve the stability of the original solution manifold, resulting in learning dynamics similar to gradient descent. Beyond a critical value, strong curl terms destabilize the solution manifold. Depending on the network architecture, this loss of stability can lead to chaotic learning dynamics that destroy performance. In other cases, the curl terms can counterintuitively speed learning compared to gradient descent by allowing the weight dynamics to escape saddles by temporarily ascending the loss. Our results identify specific architectures capable of supporting robust learning via diverse learning rules, providing an important counterpoint to normative theories of gradient-based learning in neural networks.
• Abstract（参考訳）: グラディエントベースのアルゴリズムは、人工知能ニューラルネットワークトレーニングの基盤となっているが、生物学的ニューラルネットワークが学習中に同様の勾配ベースの戦略を使用しているかどうかは不明だ。 実験では、しばしばシナプスの可塑性規則の多様性が発見されるが、これらの値が勾配降下に近似するかどうかは不明である。 ここでは、これまでに見過ごされた可能性として、学習力学が基本的には非段階的な「カール」のようなコンポーネントを含む一方で、損失関数を効果的に最適化できる可能性について検討する。 カール項は、阻害的な接続やヘビアン/反ヘビアン可塑性を持つネットワークで自然に現れ、任意の目的に対する勾配降下としてフレーム化できない学習力学をもたらす。 これらのカール項の影響を調べるため、分析的に抽出可能な学生-教師フレームワーク内のフィードフォワードネットワークを解析し、ルールフリップされた可塑性を示すニューロンを介して系統的に非段階的ダイナミクスを導入する。 小さなカール項は元の解多様体の安定性を保ち、勾配降下と同様の学習力学をもたらす。 臨界値を超えて、強いカール項は解多様体を不安定化する。 ネットワークアーキテクチャによっては、この安定性の喪失は、パフォーマンスを損なうカオス的な学習ダイナミクスにつながる可能性がある。 その他の場合において、カール項は、一時的に損失を上昇させることでサドルを脱出させることにより、勾配降下と比較して反故意に速度学習を行うことができる。 本研究は,ニューラルネットワークにおける勾配学習の規範的理論に対する重要な反論として,多様な学習規則を通した堅牢な学習を支援することのできる,特定のアーキテクチャを特定した。

関連論文リスト

• The Butterfly Effect: Neural Network Training Trajectories Are Highly Sensitive to Initial Conditions [51.68215326304272]
  たとえ小さな摂動であっても、同じ訓練軌跡を確実に引き起こすことで、トレーニング時間とともに急速に減少する効果が発散することを示します。 この結果から,ニューラルネットワークのトレーニング安定性,微調整,モデルマージ,モデルアンサンブルの多様性の実践的意味が示唆された。
  論文  参考訳（メタデータ） (2025-06-16T08:35:16Z)
• Dynamical stability and chaos in artificial neural network trajectories along training [3.379574469735166]
  浅いニューラルネットワークのネットワーク軌跡をこのレンズを通して解析することにより,このプロセスの動的特性について検討する。 我々は,学習率の仕組みによって,規則的かつカオス的な行動のヒントを見いだす。 この研究は、力学系理論、ネットワーク理論、機械学習のアイデアの交叉受精にも貢献している。
  論文  参考訳（メタデータ） (2024-04-08T17:33:11Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Smooth Exact Gradient Descent Learning in Spiking Neural Networks [0.0]
  連続的に変化するスパイキングダイナミクスに基づいて、正確な勾配降下を示す。 これらは、スパイクが消えてトライアルの終わりに現れるニューロンモデルによって生成され、その後のダイナミクスには影響しない。
  論文  参考訳（メタデータ） (2023-09-25T20:51:00Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Learning fixed points of recurrent neural networks by reparameterizing the network model [0.0]
  計算神経科学において、リカレントニューラルネットワークの固定点は、静的またはゆっくりと変化する刺激に対する神経反応をモデル化するために一般的に用いられる。 自然なアプローチは、シナプス重みのユークリッド空間上の勾配勾配を利用することである。 この手法は, 損失面に生じる特異点により, 学習性能が低下する可能性があることを示す。
  論文  参考訳（メタデータ） (2023-07-13T13:09:11Z)
• Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
  適応型ニューラルネットワークの動的対向攻撃問題について検討する。 本稿では,LGM(Leaded Gradient Method)を提案する。 我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
  論文  参考訳（メタデータ） (2022-10-15T01:32:08Z)
• Gradient descent in materia through homodyne gradient extraction [2.012950941269354]
  ホモダイン検出の原理に基づく簡易かつ効率的な勾配抽出法を示す。 最適化が必要なパラメータを摂動することで、高度に堅牢でスケーラブルな方法で勾配情報を得ることができる。 ホモジン勾配抽出は原則としてアマチュアで完全に実装することができ、自律的に学習する物質システムの開発を促進する。
  論文  参考訳（メタデータ） (2021-05-15T12:18:31Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。