論文の概要: Self-Motivated Growing Neural Network for Adaptive Architecture via Local Structural Plasticity
- arxiv url: http://arxiv.org/abs/2512.12713v1
- Date: Sun, 14 Dec 2025 14:31:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-16 17:54:56.399576
- Title: Self-Motivated Growing Neural Network for Adaptive Architecture via Local Structural Plasticity
- Title(参考訳): 局所構造塑性を用いた適応型アーキテクチャのための自己運動型成長ニューラルネットワーク
- Authors: Yiyang Jia, Chengxu Zhou,
- Abstract要約: 深い強化学習における制御ポリシーは、バックプロパゲーションによって訓練された固定容量多層パーセプトロンで実装されることが多い。
本稿では,局所構造塑性モジュールを通じてトポロジがオンラインで進化する制御系である自己運動型成長ニューラルネットワーク(SMGrNN)を紹介する。
- 参考スコア(独自算出の注目度): 0.2578242050187029
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Control policies in deep reinforcement learning are often implemented with fixed-capacity multilayer perceptrons trained by backpropagation, which lack structural plasticity and depend on global error signals. This paper introduces the Self-Motivated Growing Neural Network (SMGrNN), a controller whose topology evolves online through a local Structural Plasticity Module (SPM). The SPM monitors neuron activations and edge-wise weight update statistics over short temporal windows and uses these signals to trigger neuron insertion and pruning, while synaptic weights are updated by a standard gradient-based optimizer. This allows network capacity to be regulated during learning without manual architectural tuning. SMGrNN is evaluated on control benchmarks via policy distillation. Compared with multilayer perceptron baselines, it achieves similar or higher returns, lower variance, and task-appropriate network sizes. Ablation studies with growth disabled and growth-only variants isolate the role of structural plasticity, showing that adaptive topology improves reward stability. The local and modular design of SPM enables future integration of a Hebbian plasticity module and spike-timing-dependent plasticity, so that SMGrNN can support both artificial and spiking neural implementations driven by local rules.
- Abstract(参考訳): 深い強化学習における制御ポリシーは、バックプロパゲーションによって訓練された固定容量多層パーセプトロンで実装されることが多い。
本稿では、局所構造塑性モジュール(SPM)を介してトポロジがオンラインで進化するコントローラである自己運動型成長ニューラルネットワーク(SMGrNN)を紹介する。
SPMは、短時間の時間窓上でニューロンの活性化とエッジワイド更新統計を監視し、これらの信号を使用してニューロンの挿入とプルーニングをトリガーし、シナプス重みは標準勾配に基づくオプティマイザによって更新される。
これにより、手作業によるアーキテクチャチューニングなしに、学習中にネットワーク容量を調整できる。
SMGrNNは、政策蒸留による制御ベンチマークで評価される。
多層パーセプトロンベースラインと比較して、同様のあるいは高いリターン、低い分散、タスクに適したネットワークサイズを実現している。
成長障害および成長のみの変異によるアブレーション研究は、構造的可塑性の役割を分離し、適応的トポロジーが報酬安定性を向上させることを示した。
SPMの局所的およびモジュラー的設計は、将来のHebbianの可塑性モジュールとスパイクタイピングに依存した可塑性の統合を可能にするため、SMGrNNはローカルルールによって駆動される人工的およびスパイク的なニューラル実装の両方をサポートすることができる。
関連論文リスト
- Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。
我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。
アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
論文 参考訳(メタデータ) (2025-10-14T03:03:08Z) - Neuromorphic Cybersecurity with Semi-supervised Lifelong Learning [2.3752592594044297]
本稿では,生涯ネットワーク侵入検知システム(NIDS)のためのスパイキングニューラルネットワーク(SNN)アーキテクチャを提案する。
提案システムでは、まず効率的な静的SNNを用いて潜在的な侵入を識別し、次に特定の攻撃タイプを分類するアダプティブ動的SNNを起動する。
UNSW-NB15ベンチマークで連続的な学習環境でテストされ、アーキテクチャは堅牢な適応を示し、破滅的な忘れを減らし、全体的な精度は85.3ドル%に達する。
論文 参考訳(メタデータ) (2025-08-06T16:29:59Z) - Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。
この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
論文 参考訳(メタデータ) (2025-03-31T10:16:03Z) - IP$^{2}$-RSNN: Bi-level Intrinsic Plasticity Enables Learning-to-learn in Recurrent Spiking Neural Networks [20.88195975299024]
2レベル内在性可塑性を有する繰り返しスパイクニューラルネットワーク(IP$2$-RSNN)を開発した。
以上の結果から,RSNNにおけるL2Lの実現には,両レベルの内在性可塑性が重要な役割を担っていることが示唆された。
論文 参考訳(メタデータ) (2025-01-24T14:45:03Z) - Spatiotemporal Graph Learning with Direct Volumetric Information Passing and Feature Enhancement [62.91536661584656]
本稿では,CeFeGNN(CeFeGNN)とCell-embeddedとFeature-enhanced Graph Neural Networkを学習用として提案する。
学習可能なセル属性を共通ノードエッジメッセージパッシングプロセスに埋め込むことで,地域特性の空間依存性をよりよく把握する。
各種PDEシステムと1つの実世界のデータセットを用いた実験により、CeFeGNNは他のベースラインと比較して優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2024-09-26T16:22:08Z) - Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。
LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
論文 参考訳(メタデータ) (2023-08-23T10:48:28Z) - A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。
Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。
我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
論文 参考訳(メタデータ) (2022-10-27T13:24:08Z) - An Unsupervised STDP-based Spiking Neural Network Inspired By
Biologically Plausible Learning Rules and Connections [10.188771327458651]
スパイク刺激依存性可塑性(STDP)は脳の一般的な学習規則であるが、STDPだけで訓練されたスパイクニューラルネットワーク(SNN)は非効率であり、性能が良くない。
我々は適応的なシナプスフィルタを設計し、SNNの表現能力を高めるために適応的なスパイキングしきい値を導入する。
我々のモデルは、MNISTおよびFashionMNISTデータセットにおける教師なしSTDPベースのSNNの最先端性能を実現する。
論文 参考訳(メタデータ) (2022-07-06T14:53:32Z) - Online Training of Spiking Recurrent Neural Networks with Phase-Change
Memory Synapses [1.9809266426888898]
専用のニューロモルフィックハードウェア上でのスパイクニューラルネットワーク(RNN)のトレーニングは、依然としてオープンな課題である。
本稿では,PCMデバイスモデルに基づく差分構造アレイのシミュレーションフレームワークを提案する。
我々は,最近提案されたe-prop学習規則を用いて,提案したシミュレーションフレームワークに重みをエミュレートしたスパイクRNNを訓練する。
論文 参考訳(メタデータ) (2021-08-04T01:24:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。