論文の概要: Pruning as Evolution: Emergent Sparsity Through Selection Dynamics in Neural Networks

• arxiv url: http://arxiv.org/abs/2601.10765v1
• Date: Wed, 14 Jan 2026 16:48:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-19 20:21:50.240575
• Title: Pruning as Evolution: Emergent Sparsity Through Selection Dynamics in Neural Networks
• Title（参考訳）: 進化としてのプルーニング:ニューラルネットワークの選択ダイナミクスによる創発的疎結合
• Authors: Zubair Shah, Noaman Khan,
• Abstract要約: 我々は、集団の進化過程としてニューラルプルーニングを定式化し、選択力学を導出し、フィットネスを局所的な学習信号に結びつける。 その結果、進化的選択は、トレーニング中に明示的なプルーニングスケジュールなしで測定可能な精度とスパーシティのトレードオフを生み出すことが示された。
• 参考スコア（独自算出の注目度）: 1.1458853556386799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are commonly trained in highly overparameterized regimes, yet empirical evidence consistently shows that many parameters become redundant during learning. Most existing pruning approaches impose sparsity through explicit intervention, such as importance-based thresholding or regularization penalties, implicitly treating pruning as a centralized decision applied to a trained model. This assumption is misaligned with the decentralized, stochastic, and path-dependent character of gradient-based training. We propose an evolutionary perspective on pruning: parameter groups (neurons, filters, heads) are modeled as populations whose influence evolves continuously under selection pressure. Under this view, pruning corresponds to population extinction: components with persistently low fitness gradually lose influence and can be removed without discrete pruning schedules and without requiring equilibrium computation. We formalize neural pruning as an evolutionary process over population masses, derive selection dynamics governing mass evolution, and connect fitness to local learning signals. We validate the framework on MNIST using a population-scaled MLP (784--512--256--10) with 768 prunable neuron populations. All dynamics reach dense baselines near 98\% test accuracy. We benchmark post-training hard pruning at target sparsity levels (35--50\%): pruning 35\% yields $\approx$95.5\% test accuracy, while pruning 50\% yields $\approx$88.3--88.6\%, depending on the dynamic. These results demonstrate that evolutionary selection produces a measurable accuracy--sparsity tradeoff without explicit pruning schedules during training.
• Abstract（参考訳）: ニューラルネットワークは、高度にパラメータ化されたレシエーションで一般的に訓練されているが、実証的な証拠は、学習中に多くのパラメータが冗長になることを一貫して示している。 既存のプルーニングアプローチの多くは、重要度に基づく閾値付けや正規化の罰則といった明示的な介入を通じて、プルーニングを訓練されたモデルに適用した集中的な決定として暗黙的に扱い、疎結合を課している。 この仮定は、勾配に基づくトレーニングの分散化、確率化、経路依存の性格と誤解している。 パラメータ群(ニューロン,フィルタ,頭部)は,選択圧力下で連続的に進化する個体群としてモデル化される。 この観点では、プルーニングは人口の絶滅に対応している: 永続的に低いフィットネスを持つコンポーネントは、徐々に影響を失い、個別のプルーニングスケジュールなしで、平衡計算を必要とせずに取り除くことができる。 我々は、集団の進化過程としてニューラルプルーニングを定式化し、質量進化を管理する選択力学を導出し、フィットネスを局所的な学習信号に結びつける。 MNISTの枠組みは,784--512--256--10 (784--512--256--10) と768個の切断可能なニューロン群を用いて検証した。 すべてのダイナミクスは、98\%のテスト精度に近い密度のベースラインに達する。 対象の空間レベル(35-50-%)でのハードプルーニング後のベンチマークを行い、35-%のプルーニングではテスト精度が$\approx$95.5\%、50-%のプルーニングでは$\approx$88.3--88.6%のプルーニングを行う。 これらの結果は、進化的選択が、トレーニング中に明示的なプルーニングスケジュールなしで測定可能な精度-スパーシティトレードオフを生み出すことを示す。

関連論文リスト

• Synaptic Pruning: A Biological Inspiration for Deep Learning Regularization [4.080348897270072]
  生物をよりよく反映する等級に基づくシナプス刈り法を提案する。 ドロップアウトの代替品としてトレーニングループに 直接統合された RNN、LSTM、Patch Time Series Transformerを含む複数の時系列予測モデルの実験は、一貫した利得を示している。
  論文  参考訳（メタデータ） (2025-08-12T20:36:00Z)
• Revisiting Large Language Model Pruning using Neuron Semantic Attribution [63.62836612864512]
  人気プルーニング手法を用いて,24のデータセットと4つのタスクの評価を行った。 感情分類タスクでは,既存のプルーニング手法の大幅な性能低下がみられた。 本稿では,各ニューロンと特定の意味論を関連づけることを学ぶニューロン意味属性を提案する。
  論文  参考訳（メタデータ） (2025-03-03T13:52:17Z)
• Fantastic Weights and How to Find Them: Where to Prune in Dynamic Sparse Training [58.47622737624532]
  本研究では,プルーニング基準が動的スパーストレーニング(DST)性能に及ぼす影響について検討する。 その結果,研究手法のほとんどが同様の結果をもたらすことがわかった。 最高のパフォーマンスは、最も単純なテクニックであるマグニチュードベースのプルーニングによって主に与えられる。
  論文  参考訳（メタデータ） (2023-06-21T12:43:55Z)
• Magnificent Minified Models [0.360953887026184]
  本論文は、大規模なトレーニングニューラルネットワークを「圧縮」し、パラメータやニューロン全体を削除することで、より小さくするタスクを自覚する。 パラメータとニューロン選択の様々な方法を比較する:ドロップアウトベースニューロン損傷推定、ニューロンのマージ、絶対値ベース選択、ランダム選択。 ニューロンレベルのプルーニングでは、スクラッチから再トレーニングを行うことで、実験はずっと良くなりました。
  論文  参考訳（メタデータ） (2023-06-16T21:00:44Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• To update or not to update? Neurons at equilibrium in deep models [8.72305226979945]
  近年の深層学習の進歩は, 完全学習モデルにおけるアポテリオリ情報によって, パラメータのサブセットを単に訓練することで, 同一の性能に適合できることを示した。 本研究では、単一パラメータからニューロン全体の挙動に焦点を移し、ニューロン平衡(NEq)の概念を活用する。 提案手法は、NEqを検証し、神経平衡が特定の学習設定に依存することを観察し、様々な最先端の学習戦略とタスクで検証されている。
  論文  参考訳（メタデータ） (2022-07-19T08:07:53Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)
• Plateau Phenomenon in Gradient Descent Training of ReLU networks: Explanation, Quantification and Avoidance [0.0]
  一般に、ニューラルネットワークは勾配型最適化法によって訓練される。 トレーニング開始時に損失関数は急速に低下するが,比較的少数のステップの後に著しく低下する。 本研究の目的は,高原現象の根本原因の同定と定量化である。
  論文  参考訳（メタデータ） (2020-07-14T17:33:26Z)
• Movement Pruning: Adaptive Sparsity by Fine-Tuning [115.91907953454034]
  マグニチュードプルーニング(Magnitude pruning)は、純粋教師付き学習におけるモデルサイズの削減に広く用いられている戦略である。 本稿では,単純な一階重み決定法であるムーブメント・プルーニング(Motion pruning)を提案する。 実験により、大きな事前訓練された言語モデルでプルーニングを行うと、運動プルーニングは高分離性体制において顕著な改善を示すことが示された。
  論文  参考訳（メタデータ） (2020-05-15T17:54:15Z)
• Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
  類似サンプル間の予測分布を解析する新しい正規化法を提案する。 これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。 画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-03-31T06:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。