論文の概要: DADP: Dynamic Activity-Dependent Pruning, A Reverse Hebbian-Inspired Structural Pruning Method

• arxiv url: http://arxiv.org/abs/2610.11853v1
• Date: Thu, 08 Oct 2026 12:38:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.02554
• Title: DADP: Dynamic Activity-Dependent Pruning, A Reverse Hebbian-Inspired Structural Pruning Method
• Title（参考訳）: DADP: 動的アクティビティ依存型プルニング, リバースヘビアンインスパイアされた構造的プルニング法
• Abstract要約: 本研究では, 生体にインスパイアされた構造的塑性機構である動的活性依存型プルーニング(DADP)を提案する。 トレーニング中、DADPはシナプス前活性化とシナプス後エラーの蓄積生成物を介して接続重要度を測定する。 DADPはMagnitude, SNIP, RigLを上回り、73.67%の精度(密度ベースライン76.06%)をResNet-18で99%の間隔で維持する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern neural networks are heavily over-parameterized. This redundancy incurs substantial compute and memory overhead during training and inference. Existing pruning methods rely on post-hoc magnitude thresholds or static initialization heuristics. Consequently, they often require manual per-layer sparsity targets or expensive retraining cycles. We propose Dynamic Activity-Dependent Pruning (DADP), a biologically inspired structural plasticity mechanism. During training, DADP measures connection importance via the accumulated product of pre-synaptic activations and post-synaptic error gradients. Using a single global threshold instead of fixed layer budgets, DADP dynamically allocates sparsity across network depth while naturally inducing neuron- and channel-level pruning. Across MLP, VGG-16, ResNet-18, BiLSTM-CRF, and MiniBERT architectures, DADP matches or outperforms Magnitude, SNIP and RigL, retaining 73.67% accuracy (dense baseline: 76.06%) at 99% sparsity on ResNet-18. Finally, matrix-based Shannon entropy and effective rank measurements confirm that DADP preserves latent feature diversity at extreme sparsities without representation collapse.
• Abstract（参考訳）: 現代のニューラルネットワークは過度にパラメータ化されている。 この冗長性は、トレーニングと推論の間にかなりの計算とメモリオーバーヘッドを引き起こす。 既存のプルーニング法は、ポストホック等級のしきい値や静的初期化ヒューリスティックに依存する。 そのため、しばしば手動でレイヤーごとのスパーシティ目標や高価なリトレーニングサイクルを必要とする。 本研究では, 生体にインスパイアされた構造的塑性機構である動的活性依存型プルーニング(DADP)を提案する。 トレーニング中、DADPはシナプス前活性化とシナプス後エラー勾配の蓄積生成物を介して接続重要度を測定する。 DADPは固定層予算の代わりに単一のグローバルしきい値を用いて、ネットワーク深度を動的に割り当て、ニューロンやチャネルレベルのプルーニングを自然に誘導する。 MLP、VGG-16、ResNet-18、BiLSTM-CRF、MiniBERTアーキテクチャ全体において、DADPはMagnitude、SNIP、RigLと一致または性能が良く、73.67%の精度(密度ベースライン76.06%)を維持し、ResNet-18の99%の間隔で保持している。 最後に、行列ベースのシャノンエントロピーと効果的なランク測定により、DADPは表現の崩壊なしに極端に分散した特徴の多様性を保っていることを確認した。

関連論文リスト

• Rethinking Reservoir Pruning: A Dynamical Perspective for Echo State Networks [0.0]
  支配的な遷移モードへの寄与によってニューロンをランク付けする貯水池プルーニング法である動的モードプルーニング(DMP)を提案する。 DMPは冗長な貯水池の部品を減らしながら予測精度を向上または維持する。
  論文  参考訳（メタデータ） (2026-08-05T08:56:17Z)
• Scaling Adaptive Depth with Norm-Agnostic Residual Networks [9.219329760729629]
  NAGは標準に依存しない残差アーキテクチャであり、残差ストリームの方向情報から大きさを分離する。 NAGは無視できる数の追加パラメータしか導入せず、簡単にカーネルで実現可能な単純な操作に依存している。 このアーキテクチャはベースライントランスフォーマーよりも優れており,奥行きが大きくなるにつれて大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-06-15T02:05:37Z)
• Relay-Assisted Activation-Integrated SIM for Wireless Physical Neural Networks [53.64687377045908]
  無線物理ニューラルネットワーク(WPNN)は、無線システムの物理層で直接ニューラルネットワークを実行するための有望なパラダイムとして登場した。 本稿では,アクティベーション統合された集積型知的準曲面(AI-SIM)に基づくリレー支援型WPNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-04-05T18:07:13Z)
• Synaptic Pruning: A Biological Inspiration for Deep Learning Regularization [4.080348897270072]
  生物をよりよく反映する等級に基づくシナプス刈り法を提案する。 ドロップアウトの代替品としてトレーニングループに 直接統合された RNN、LSTM、Patch Time Series Transformerを含む複数の時系列予測モデルの実験は、一貫した利得を示している。
  論文  参考訳（メタデータ） (2025-08-12T20:36:00Z)
• Efficient Memristive Spiking Neural Networks Architecture with Supervised In-Situ STDP Method [0.0]
  時間的スパイクエンコーディングを備えたメムリスタベースのスパイキングニューラルネットワーク(SNN)は、超低エネルギー計算を可能にする。 本稿では,新しい教師付きin-situ学習アルゴリズムを用いて学習した回路レベルのメムリシブスパイクニューラルネットワーク(SNN)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-07-28T17:09:48Z)
• Fast Training of Recurrent Neural Networks with Stationary State Feedbacks [48.22082789438538]
  リカレントニューラルネットワーク(RNN)は最近、Transformerよりも強力なパフォーマンスと高速な推論を実証している。 BPTTを固定勾配フィードバック機構で置き換える新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-03-29T14:45:52Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
  ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-09-06T03:17:10Z)
• HiPPO: Recurrent Memory with Optimal Polynomial Projections [93.3537706398653]
  本稿では,連続信号と離散時系列をベースに投影してオンライン圧縮するための一般フレームワーク(HiPPO)を提案する。 過去の各時間ステップの重要性を示す尺度が与えられた場合、HiPPOは自然なオンライン関数近似問題に対する最適解を生成する。 このフォーマルなフレームワークは、すべての履歴を記憶するために時間をかけてスケールする新しいメモリ更新メカニズム(HiPPO-LegS)を提供する。
  論文  参考訳（メタデータ） (2020-08-17T23:39:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。