論文の概要: NeuroPlastic: A Plasticity-Modulated Optimizer for Biologically Inspired Learning Dynamics
- arxiv url: http://arxiv.org/abs/2604.26297v1
- Date: Wed, 29 Apr 2026 04:52:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-30 15:59:36.25989
- Title: NeuroPlastic: A Plasticity-Modulated Optimizer for Biologically Inspired Learning Dynamics
- Title(参考訳): NeuroPlastic: バイオインスパイアされた学習ダイナミクスのための塑性変調最適化器
- Authors: Douglas Jiang, Yuechen Wang, Jiayi Wang, Jiaying Geng, Qinglong Wang, Feng Tian,
- Abstract要約: NeuroPlasticは、適応的な多信号変調機構で勾配ベースの更新を強化する、塑性変調アルゴリズムである。
画像分類ベンチマーク全体において、NeuroPlasticは、制御された勾配のみのアブレーションよりも一貫して改善されている。
これらの結果から, 多信号の塑性刺激による変調は, 従来の勾配駆動最適化への有用な拡張となることが示唆された。
- 参考スコア(独自算出の注目度): 9.309128231118969
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimization algorithms are fundamental to modern deep learning, yet most widely used methods rely on update rules based primarily on local gradient statistics. We introduce NeuroPlastic, a plasticity-modulated optimizer that augments gradient-based updates with an adaptive multi-signal modulation mechanism inspired by multi-factor synaptic plasticity, a concept from neurobiology. NeuroPlastic dynamically scales gradient updates using interacting components that capture gradient, activity-like, and memory-like statistics, forming a lightweight modulation layer compatible with standard deep learning training pipelines. Across image classification benchmarks, NeuroPlastic consistently improves over a controlled gradient-only ablation, with more pronounced gains on the Fashion-MNIST benchmark and in reduced-data regimes. In transfer experiments on CIFAR-10 with ResNet-18, the method remains stable and competitive without retuning. These results suggest that multi-signal plasticity-inspired modulation can provide a useful extension to conventional gradient-driven optimization, particularly when learning signals are limited or noisy, and offer a promising direction for gradient-based methods in deep learning.
- Abstract(参考訳): 最適化アルゴリズムは現代のディープラーニングの基本であるが、最も広く使われている手法は、主に局所勾配統計に基づく更新規則に依存している。
我々は,多要素シナプス可塑性にインスパイアされた適応的多信号変調機構により,勾配に基づく更新を増強する,塑性変調最適化装置であるNeuroPlasticを紹介した。
NeuroPlasticは、グラデーション、アクティビティライク、メモリライクな統計をキャプチャする相互作用コンポーネントを使用して、グラデーションの更新を動的にスケールし、標準のディープラーニングトレーニングパイプラインと互換性のある軽量な変調層を形成する。
画像分類ベンチマーク全体において、NeuroPlasticは、Fashion-MNISTベンチマークやデータレシエーションの低下により、コントロールされた勾配のみのアブレーションよりも一貫して改善されている。
ResNet-18によるCIFAR-10の転送実験では、この手法は再調整することなく安定で競争力がある。
以上の結果から,多信号の可塑性にインスパイアされた変調は,特に学習信号が限定的あるいはノイズの多い場合において,従来の勾配駆動型最適化への有用な拡張となり,ディープラーニングにおける勾配に基づく手法に有望な方向性をもたらすことが示唆された。
関連論文リスト
- From Gradients to Riccati Geometry: Kalman World Models for Single-Pass Learning [0.0]
バックプロパゲーションは現代の機械学習を支配しているが、力学系を最適化する唯一の原則的手法ではない。
ベイズフィルタを用いて学習した学習状態空間モデルであるKalman World Models (KWM)を提案する。
我々は,このフレームワークをトランスフォーマーベースの大規模言語モデル (LLM) に拡張し,内部アクティベーションを潜在動的状態の修正として扱う。
論文 参考訳(メタデータ) (2026-03-13T00:30:30Z) - Self-Motivated Growing Neural Network for Adaptive Architecture via Local Structural Plasticity [0.2578242050187029]
深い強化学習における制御ポリシーは、バックプロパゲーションによって訓練された固定容量多層パーセプトロンで実装されることが多い。
本稿では,局所構造塑性モジュールを通じてトポロジがオンラインで進化する制御系である自己運動型成長ニューラルネットワーク(SMGrNN)を紹介する。
論文 参考訳(メタデータ) (2025-12-14T14:31:21Z) - Gradient Flow Matching for Learning Update Dynamics in Neural Network Training [3.782392436834913]
Gradient Flow Matching(GFM)は、ニューラルネットワークトレーニングを学習対応ベクトル場によって管理される動的システムとして扱う、連続的な時間モデリングフレームワークである。
条件付きフローマッチングを利用することで、GFMはSGD、Adam、RMSpropの基本的な更新ルールをキャプチャし、ウェイトトラジェクトリのスムーズな外挿を可能にする。
論文 参考訳(メタデータ) (2025-05-26T17:03:22Z) - Preserving Plasticity in Continual Learning with Adaptive Linearity Injection [10.641213440191551]
ディープニューラルネットワークにおける可塑性の喪失は、漸進的に学習するモデルの能力が徐々に低下することである。
近年の研究では、深い線形ネットワークは可塑性の喪失に対して弾力性があることが示されている。
適応線形化(AdaLin)は,各ニューロンの活性化機能を動的に適応し,可塑性損失を軽減する一般的な手法である。
論文 参考訳(メタデータ) (2025-05-14T15:36:51Z) - Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳(メタデータ) (2024-09-17T04:48:45Z) - Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。
LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
論文 参考訳(メタデータ) (2023-08-23T10:48:28Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳(メタデータ) (2023-02-01T17:32:16Z) - Scaling Private Deep Learning with Low-Rank and Sparse Gradients [5.14780936727027]
ニューラルネットワークの低ランクかつスパースな構造を利用して、勾配更新の次元を小さくするフレームワークを提案する。
勾配を拡大するために新しい戦略が利用され、低次元でノイズの少ない更新をもたらす。
自然言語処理とコンピュータビジョンタスクの実証評価により,本手法が他の最先端のベースラインよりも優れていることが示された。
論文 参考訳(メタデータ) (2022-07-06T14:09:47Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。