論文の概要: Synaptic Pruning: A Biological Inspiration for Deep Learning Regularization

• arxiv url: http://arxiv.org/abs/2508.09330v1
• Date: Tue, 12 Aug 2025 20:36:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.687426
• Title: Synaptic Pruning: A Biological Inspiration for Deep Learning Regularization
• Title（参考訳）: Synaptic Pruning:Deep Learning Regularizationのための生物学的インスピレーション
• Authors: Gideon Vos, Liza van Eijk, Zoltan Sarnyai, Mostafa Rahimi Azghadi,
• Abstract要約: 生物をよりよく反映する等級に基づくシナプス刈り法を提案する。 ドロップアウトの代替品としてトレーニングループに 直接統合された RNN、LSTM、Patch Time Series Transformerを含む複数の時系列予測モデルの実験は、一貫した利得を示している。
• 参考スコア（独自算出の注目度）: 2.7516838144367735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synaptic pruning in biological brains removes weak connections to improve efficiency. In contrast, dropout regularization in artificial neural networks randomly deactivates neurons without considering activity-dependent pruning. We propose a magnitude-based synaptic pruning method that better reflects biology by progressively removing low-importance connections during training. Integrated directly into the training loop as a dropout replacement, our approach computes weight importance from absolute magnitudes across layers and applies a cubic schedule to gradually increase global sparsity. At fixed intervals, pruning masks permanently remove low-importance weights while maintaining gradient flow for active ones, eliminating the need for separate pruning and fine-tuning phases. Experiments on multiple time series forecasting models including RNN, LSTM, and Patch Time Series Transformer across four datasets show consistent gains. Our method ranked best overall, with statistically significant improvements confirmed by Friedman tests (p < 0.01). In financial forecasting, it reduced Mean Absolute Error by up to 20% over models with no or standard dropout, and up to 52% in select transformer models. This dynamic pruning mechanism advances regularization by coupling weight elimination with progressive sparsification, offering easy integration into diverse architectures. Its strong performance, especially in financial time series forecasting, highlights its potential as a practical alternative to conventional dropout techniques.
• Abstract（参考訳）: 生物学的脳におけるシナプスプルーニングは、弱結合を除去し、効率を向上する。 対照的に、ニューラルネットワークにおけるドロップアウト規則化は、活動依存プルーニングを考慮せずに無作為にニューロンを不活性化させる。 本研究では, トレーニング中に重要度の低い接続を徐々に取り除き, 生物学をよりよく反映する, 等級に基づくシナプスプルーニング法を提案する。 本手法は,ドロップアウト置換としてトレーニングループに直接統合され,層間の絶対等級から重み付けの重み付けを計算し,グローバル空間を徐々に増やすために3次スケジュールを適用した。 一定間隔で、プルーニングマスクは、アクティブなプルーニングのための勾配流を維持しながら、低重要重量を永久に除去し、プルーニングと微調整の別々のフェーズを不要にする。 RNN、LSTM、Patch Time Series Transformerを含む複数の時系列予測モデルに対する4つのデータセットによる実験は、一貫した利得を示している。 以上よりFriedman試験で統計的に有意な改善が認められた(p<0。 財務予測では、平均絶対誤差を、ノーまたはスタンダード・ドロップアウトのモデルよりも最大20%削減し、一部のトランスフォーマーモデルでは最大52%削減した。 この動的プルーニング機構は、プログレッシブスペーシフィケーションと結合重みの除去によって正規化を進め、多様なアーキテクチャへの容易な統合を提供する。 その強いパフォーマンス、特に金融時系列予測では、従来のドロップアウト技術に代わる実用的な代替手段としての可能性を強調している。

関連論文リスト

• Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks [59.552873049024775]
  計算最適化モデルでは, 極めて高精度な普遍性を示すことを示す。 学習速度が減衰すると、崩壊は非常に厳しくなり、モデル間の正規化曲線の差はノイズフロアより下になる。 これらの現象は、典型的なニューラルスケーリング法則において、崩壊とパワー・ロー構造を結びつけることによって説明される。
  論文  参考訳（メタデータ） (2025-07-02T20:03:34Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Maxwell's Demon at Work: Efficient Pruning by Leveraging Saturation of Neurons [27.289945121113277]
  死ニューロンの増殖を動的に制御するDemPを導入する。 CIFAR10とImageNetデータセットの実験では、精度とスパーシリティのトレードオフが優れている。
  論文  参考訳（メタデータ） (2024-03-12T14:28:06Z)
• Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training [2.895034191799291]
  プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。 本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。 CIFAR-10, CIFAR-100, Tiny Imagenet で得られた結果から, ディープネットワークにおける接続の50%を, 1%の分類精度で除去できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-17T09:37:17Z)
• Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。 本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。 我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
  論文  参考訳（メタデータ） (2022-11-10T08:32:13Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。