論文の概要: Hyperflux: Pruning Reveals the Importance of Weights

• arxiv url: http://arxiv.org/abs/2504.05349v2
• Date: Tue, 12 Aug 2025 19:57:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 15:52:16.853049
• Title: Hyperflux: Pruning Reveals the Importance of Weights
• Title（参考訳）: Hyperflux: プルーニングはウェイトの重要性を明らかにする
• Authors: Eugen Barbulescu, Antonio Alexoaie, Lucian Busoniu,
• Abstract要約: 我々は,そのフラックスを通じて各重量の重要性を推定する概念的に基底化されたL0プルーニング手法であるHyperfluxを導入する。 グローバルな圧力項は、全ての重みをプルーニングに向けて連続的に駆動し、正確性に重要なものを自動的に再認識する。 我々はCIFAR-10およびCIFAR-100上でResNet-50 VGG-19による最先端の成果を示す。
• 参考スコア（独自算出の注目度）: 1.5839621757142597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Network pruning is used to reduce inference latency and power consumption in large neural networks. However, most existing methods use ad-hoc heuristics, lacking much insight and justified mainly by empirical results. We introduce Hyperflux, a conceptually grounded L0 pruning approach that estimates each weight's importance through its flux, the gradient's response to the weight's removal. A global pressure term continuously drives all weights toward pruning, with those critical for accuracy being automatically regrown based on their flux. We postulate several properties that naturally follow from our framework and experimentally validate each of them. One such property is the relationship between final sparsity and pressure, for which we derive a generalized scaling-law equation that is used to design our sparsity-controlling scheduler. Empirically, we demonstrate state-of-the-art results with ResNet-50 and VGG-19 on CIFAR-10 and CIFAR-100.
• Abstract（参考訳）: ネットワークプルーニングは、大規模なニューラルネットワークにおける推論レイテンシと消費電力を低減するために使用される。 しかし、既存のほとんどの手法はアドホックなヒューリスティックスを用いており、多くの洞察が欠如しており、主に経験的な結果によって正当化されている。 ハイパーフラックス (Hyperflux) は, 重量の除去に対する勾配の応答であるフラックスを通じて各重量の重要性を推定する, 概念的に基底化されたL0プルーニング手法である。 大域的な圧力項は、全ての重みをプルーニングに向けて連続的に駆動し、それらのフラックスに基づいて自動的に精度を回復させる。 我々は、自然にフレームワークから従ういくつかの特性を仮定し、それぞれの特性を実験的に検証する。 そのような性質の1つは、最終的な空間と圧力の関係であり、そこでは、空間制御スケジューラの設計に使用される一般化されたスケーリング法則方程式を導出する。 実験により,CIFAR-10およびCIFAR-100上でResNet-50およびVGG-19による最先端の成果を実証した。

関連論文リスト

• Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
  静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。 解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
  論文  参考訳（メタデータ） (2025-06-20T17:54:24Z)
• SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection [10.702093960098104]
  スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。 ORRC(Residual Connection)を通じて大量の冗長情報を蓄積する新しいトレーニングパラダイムを提案する。 次に,SynA(SynA)モジュールを用いて冗長情報をフィルタリングし,背骨における特徴抽出を促進するとともに,ショートカットにおけるノイズや無駄な特徴の影響を抑える。
  論文  参考訳（メタデータ） (2023-11-11T13:36:27Z)
• To prune or not to prune : A chaos-causality approach to principled pruning of dense neural networks [1.9249287163937978]
  本稿では,誤分類の原因となる因果的重みを特定するために,重み更新と因果性を利用した学習におけるカオス(リャプノフ指数)の概念を紹介する。 このような切断されたネットワークは、元の性能を維持し、機能説明可能性を維持する。
  論文  参考訳（メタデータ） (2023-08-19T09:17:33Z)
• HyperLoRA for PDEs [7.898728380447954]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式の解に対するニューラルネットワークの開発に広く用いられている。 PINNの欠点は、初期境界条件やPDE係数の変化に応じて再訓練する必要があることである。 モデルベースのメタ学習技術であるHypernetworkは、パラメータ化されたタスクを入力として埋め込み、PINNの重みを出力として予測する。
  論文  参考訳（メタデータ） (2023-08-18T04:29:48Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training [2.895034191799291]
  プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。 本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。 CIFAR-10, CIFAR-100, Tiny Imagenet で得られた結果から, ディープネットワークにおける接続の50%を, 1%の分類精度で除去できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-17T09:37:17Z)
• WeightMom: Learning Sparse Networks using Iterative Momentum-based pruning [0.0]
  本稿では,前回の繰り返しの運動量に基づいて徐々に重みを刈り取る,重みに基づくプルーニング手法を提案する。 我々は,CIFAR-10やCIFAR-100といった画像分類データセットを用いて,AlexNet,VGG16,ResNet50などのネットワークに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2022-08-11T07:13:59Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Multiplicative Reweighting for Robust Neural Network Optimization [51.67267839555836]
  MW(multiplicative weight)更新は、専門家のアドバイスにより、適度なデータ破損に対して堅牢である。 MWはラベルノイズの存在下でニューラルネットワークの精度を向上することを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:40:25Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。