論文の概要: Hyperflows: Pruning Reveals the Importance of Weights

• arxiv url: http://arxiv.org/abs/2504.05349v1
• Date: Sun, 06 Apr 2025 16:09:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:32:30.701782
• Title: Hyperflows: Pruning Reveals the Importance of Weights
• Title（参考訳）: ハイパーフロー: 実行することで重みが重要になる
• Authors: Eugen Barbulescu, Antonio Alexoaie,
• Abstract要約: ハイパーフローは、ウェイト除去に対するネットワークの勾配応答を観察することによって、各ウェイトの重要性を推定する動的プルーニング手法である。 グローバルな圧力項は、全ての重みをプルーニングに向けて連続的に駆動し、正確性に重要なものを自動的に再認識する。 ニューラルスケーリング法則に類似したパワー-ロー方程式を導出し、最終的な空間と圧力の関係について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Network pruning is used to reduce inference latency and power consumption in large neural networks. However, most existing methods struggle to accurately assess the importance of individual weights due to their inherent interrelatedness, leading to poor performance, especially at extreme sparsity levels. We introduce Hyperflows, a dynamic pruning approach that estimates each weight's importance by observing the network's gradient response to the weight's removal. A global pressure term continuously drives all weights toward pruning, with those critical for accuracy being automatically regrown based on their flow, the aggregated gradient signal when they are absent. We explore the relationship between final sparsity and pressure, deriving power-law equations similar to those found in neural scaling laws. Empirically, we demonstrate state-of-the-art results with ResNet-50 and VGG-19 on CIFAR-10 and CIFAR-100.
• Abstract（参考訳）: ネットワークプルーニングは、大規模なニューラルネットワークにおける推論レイテンシと消費電力を低減するために使用される。 しかしながら、既存のほとんどの手法は、固有の相互関係性のために個々の重みの重要性を正確に評価するのに苦労し、特に極度の疎度レベルにおいてパフォーマンスが低下する。 重みの除去に対するネットワークの勾配応答を観察することにより、各重みの重要性を推定する動的プルーニング手法であるHyperflowsを導入する。 大域的な圧力項は、全ての重みをプルーニングに向けて連続的に駆動し、それらが欠落しているときに集約された勾配信号である流れに基づいて、精度に重要なものが自動的に再結晶される。 ニューラルスケーリング法則に類似したパワー-ロー方程式を導出し、最終的な空間と圧力の関係について検討する。 実験により,CIFAR-10およびCIFAR-100上でResNet-50およびVGG-19による最先端の成果を実証した。

関連論文リスト

• To prune or not to prune : A chaos-causality approach to principled pruning of dense neural networks [1.9249287163937978]
  本稿では,誤分類の原因となる因果的重みを特定するために,重み更新と因果性を利用した学習におけるカオス(リャプノフ指数)の概念を紹介する。 このような切断されたネットワークは、元の性能を維持し、機能説明可能性を維持する。
  論文  参考訳（メタデータ） (2023-08-19T09:17:33Z)
• HyperLoRA for PDEs [7.898728380447954]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式の解に対するニューラルネットワークの開発に広く用いられている。 PINNの欠点は、初期境界条件やPDE係数の変化に応じて再訓練する必要があることである。 モデルベースのメタ学習技術であるHypernetworkは、パラメータ化されたタスクを入力として埋め込み、PINNの重みを出力として予測する。
  論文  参考訳（メタデータ） (2023-08-18T04:29:48Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training [2.895034191799291]
  プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。 本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。 CIFAR-10, CIFAR-100, Tiny Imagenet で得られた結果から, ディープネットワークにおける接続の50%を, 1%の分類精度で除去できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-17T09:37:17Z)
• WeightMom: Learning Sparse Networks using Iterative Momentum-based pruning [0.0]
  本稿では,前回の繰り返しの運動量に基づいて徐々に重みを刈り取る,重みに基づくプルーニング手法を提案する。 我々は,CIFAR-10やCIFAR-100といった画像分類データセットを用いて,AlexNet,VGG16,ResNet50などのネットワークに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2022-08-11T07:13:59Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Multiplicative Reweighting for Robust Neural Network Optimization [51.67267839555836]
  MW(multiplicative weight)更新は、専門家のアドバイスにより、適度なデータ破損に対して堅牢である。 MWはラベルノイズの存在下でニューラルネットワークの精度を向上することを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:40:25Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。