論文の概要: The Neural Pruning Law Hypothesis

• arxiv url: http://arxiv.org/abs/2504.05349v3
• Date: Tue, 28 Oct 2025 14:10:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:43.079053
• Title: The Neural Pruning Law Hypothesis
• Title（参考訳）: ニューラルプルーニング法仮説
• Authors: Eugen Barbulescu, Antonio Alexoaie, Lucian Busoniu,
• Abstract要約: 我々は,概念的に接地された刈り込み法であるHyperfluxを導入し,刈り込み過程の研究に利用した。 我々は、我々の枠組みから自然に生じる性質を仮定し、重みと密度の最小フラックスの関係が、パワー-ロー方程式に従うことを発見した。
• 参考スコア（独自算出の注目度）: 0.7901604416781477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Network pruning is used to reduce inference latency and power consumption in large neural networks. However, most current pruning methods rely on ad-hoc heuristics that are poorly understood. We introduce Hyperflux, a conceptually-grounded pruning method, and use it to study the pruning process. Hyperflux models this process as an interaction between weight flux, the gradient's response to the weight's removal, and network pressure, a global regularization driving weights towards pruning. We postulate properties that arise naturally from our framework and find that the relationship between minimum flux among weights and density follows a power-law equation. Furthermore, we hypothesize the power-law relationship to hold for any effective saliency metric and call this idea the Neural Pruning Law Hypothesis. We validate our hypothesis on several families of pruning methods (magnitude, gradients, $L_0$), providing a potentially unifying property for neural pruning.
• Abstract（参考訳）: ネットワークプルーニングは、大規模なニューラルネットワークにおける推論レイテンシと消費電力を低減するために使用される。 しかし、現在のプルーニング法は、ほとんど理解されていないアドホックなヒューリスティックに頼っている。 我々は,概念的に接地された刈り込み法であるHyperfluxを導入し,刈り込み過程の研究に利用した。 ハイパーフラックスはこの過程を、重量フラックス、重量の除去に対する勾配の反応、およびネットワーク圧力の間の相互作用としてモデル化し、グローバルな正規化によって重量を刈り取る。 我々は、我々の枠組みから自然に生じる性質を仮定し、重みと密度の最小フラックスの関係が、パワー-ロー方程式に従うことを発見した。 さらに, 有効なサリエンシ測定値を保持するために, この理論をニューラルプルーニング法仮説 (Neural Pruning Law hypothesis) と呼ぶ。 我々は,数種類のプルーニング法(マグニチュード,勾配,$L_0$)で仮説を検証し,ニューラルプルーニングの潜在的統一性を示す。

関連論文リスト

• Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
  静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。 解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
  論文  参考訳（メタデータ） (2025-06-20T17:54:24Z)
• SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection [10.702093960098104]
  スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。 ORRC(Residual Connection)を通じて大量の冗長情報を蓄積する新しいトレーニングパラダイムを提案する。 次に,SynA(SynA)モジュールを用いて冗長情報をフィルタリングし,背骨における特徴抽出を促進するとともに,ショートカットにおけるノイズや無駄な特徴の影響を抑える。
  論文  参考訳（メタデータ） (2023-11-11T13:36:27Z)
• To prune or not to prune : A chaos-causality approach to principled pruning of dense neural networks [1.9249287163937978]
  本稿では,誤分類の原因となる因果的重みを特定するために,重み更新と因果性を利用した学習におけるカオス(リャプノフ指数)の概念を紹介する。 このような切断されたネットワークは、元の性能を維持し、機能説明可能性を維持する。
  論文  参考訳（メタデータ） (2023-08-19T09:17:33Z)
• HyperLoRA for PDEs [7.898728380447954]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式の解に対するニューラルネットワークの開発に広く用いられている。 PINNの欠点は、初期境界条件やPDE係数の変化に応じて再訓練する必要があることである。 モデルベースのメタ学習技術であるHypernetworkは、パラメータ化されたタスクを入力として埋め込み、PINNの重みを出力として予測する。
  論文  参考訳（メタデータ） (2023-08-18T04:29:48Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training [2.895034191799291]
  プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。 本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。 CIFAR-10, CIFAR-100, Tiny Imagenet で得られた結果から, ディープネットワークにおける接続の50%を, 1%の分類精度で除去できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-17T09:37:17Z)
• WeightMom: Learning Sparse Networks using Iterative Momentum-based pruning [0.0]
  本稿では,前回の繰り返しの運動量に基づいて徐々に重みを刈り取る,重みに基づくプルーニング手法を提案する。 我々は,CIFAR-10やCIFAR-100といった画像分類データセットを用いて,AlexNet,VGG16,ResNet50などのネットワークに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2022-08-11T07:13:59Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Multiplicative Reweighting for Robust Neural Network Optimization [51.67267839555836]
  MW(multiplicative weight)更新は、専門家のアドバイスにより、適度なデータ破損に対して堅牢である。 MWはラベルノイズの存在下でニューラルネットワークの精度を向上することを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:40:25Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。