論文の概要: Hyperflows: Pruning Reveals the Importance of Weights

• arxiv url: http://arxiv.org/abs/2504.05349v1
• Date: Sun, 06 Apr 2025 16:09:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 04:39:50.93251
• Title: Hyperflows: Pruning Reveals the Importance of Weights
• Title（参考訳）: ハイパーフロー: 実行することで重みが重要になる
• Authors: Eugen Barbulescu, Antonio Alexoaie,
• Abstract要約: ハイパーフローは、ウェイト除去に対するネットワークの勾配応答を観察することによって、各ウェイトの重要性を推定する動的プルーニング手法である。 グローバルな圧力項は、全ての重みをプルーニングに向けて連続的に駆動し、正確性に重要なものを自動的に再認識する。 ニューラルスケーリング法則に類似したパワー-ロー方程式を導出し、最終的な空間と圧力の関係について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Network pruning is used to reduce inference latency and power consumption in large neural networks. However, most existing methods struggle to accurately assess the importance of individual weights due to their inherent interrelatedness, leading to poor performance, especially at extreme sparsity levels. We introduce Hyperflows, a dynamic pruning approach that estimates each weight's importance by observing the network's gradient response to the weight's removal. A global pressure term continuously drives all weights toward pruning, with those critical for accuracy being automatically regrown based on their flow, the aggregated gradient signal when they are absent. We explore the relationship between final sparsity and pressure, deriving power-law equations similar to those found in neural scaling laws. Empirically, we demonstrate state-of-the-art results with ResNet-50 and VGG-19 on CIFAR-10 and CIFAR-100.
• Abstract（参考訳）: ネットワークプルーニングは、大規模なニューラルネットワークにおける推論レイテンシと消費電力を低減するために使用される。 しかしながら、既存のほとんどの手法は、固有の相互関係性のために個々の重みの重要性を正確に評価するのに苦労し、特に極度の疎度レベルにおいてパフォーマンスが低下する。 重みの除去に対するネットワークの勾配応答を観察することにより、各重みの重要性を推定する動的プルーニング手法であるHyperflowsを導入する。 大域的な圧力項は、全ての重みをプルーニングに向けて連続的に駆動し、それらが欠落しているときに集約された勾配信号である流れに基づいて、精度に重要なものが自動的に再結晶される。 ニューラルスケーリング法則に類似したパワー-ロー方程式を導出し、最終的な空間と圧力の関係について検討する。 実験により,CIFAR-10およびCIFAR-100上でResNet-50およびVGG-19による最先端の成果を実証した。

関連論文リスト

• Elimination-compensation pruning for fully-connected neural networks [2.785400823678854]
  プルーニング技術は、ニューラルネットワークパラメータのスパース表現を抽出するために用いられる。 本稿では,各重みの重み付けの重要度を,出力の振舞いを考慮して計算する手法を提案する。 本研究の成果は概説され,その理論的意義が示唆された。
  論文  参考訳（メタデータ） (2026-02-24T01:56:12Z)
• Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
  静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。 解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
  論文  参考訳（メタデータ） (2025-06-20T17:54:24Z)
• SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection [10.702093960098104]
  スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。 ORRC(Residual Connection)を通じて大量の冗長情報を蓄積する新しいトレーニングパラダイムを提案する。 次に,SynA(SynA)モジュールを用いて冗長情報をフィルタリングし,背骨における特徴抽出を促進するとともに,ショートカットにおけるノイズや無駄な特徴の影響を抑える。
  論文  参考訳（メタデータ） (2023-11-11T13:36:27Z)
• To prune or not to prune : A chaos-causality approach to principled pruning of dense neural networks [1.9249287163937978]
  本稿では,誤分類の原因となる因果的重みを特定するために,重み更新と因果性を利用した学習におけるカオス(リャプノフ指数)の概念を紹介する。 このような切断されたネットワークは、元の性能を維持し、機能説明可能性を維持する。
  論文  参考訳（メタデータ） (2023-08-19T09:17:33Z)
• HyperLoRA for PDEs [7.898728380447954]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式の解に対するニューラルネットワークの開発に広く用いられている。 PINNの欠点は、初期境界条件やPDE係数の変化に応じて再訓練する必要があることである。 モデルベースのメタ学習技術であるHypernetworkは、パラメータ化されたタスクを入力として埋め込み、PINNの重みを出力として予測する。
  論文  参考訳（メタデータ） (2023-08-18T04:29:48Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• How Sparse Can We Prune A Deep Network: A Fundamental Limit Perspective [7.429398847018864]
  ネットワークプルーニングは、ディープニューラルネットワークの記憶と計算の負担を軽減するために一般的に使用される尺度である。 この研究は第一原理的アプローチ、すなわち損失関数に空間性制約を課し、凸幾何学における統計次元の枠組みを利用する。 刈り取り比の限界,すなわち重み度とネットワークシャープネスを決定する2つの要因を同定する。
  論文  参考訳（メタデータ） (2023-06-09T12:39:41Z)
• Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training [2.895034191799291]
  プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。 本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。 CIFAR-10, CIFAR-100, Tiny Imagenet で得られた結果から, ディープネットワークにおける接続の50%を, 1%の分類精度で除去できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-17T09:37:17Z)
• Pruning Deep Neural Networks from a Sparsity Perspective [34.22967841734504]
  プルーニングは、しばしば、同等のテスト性能を維持しながら、ディープネットワークの冗長な重み、ニューロン、または層を落とすことで達成される。 深層ニューラルネットワークの圧縮可能性を測定するためにPQインデックス(PQI)を提案し,これをスペーサ性インフォームド・アダプティブ・プルーニング(SAP)アルゴリズムの開発に利用する。
  論文  参考訳（メタデータ） (2023-02-11T04:52:20Z)
• Birth-death dynamics for sampling: Global convergence, approximations and their asymptotics [9.011881058913184]
  純粋死動力学に基づく実用的な数値システムを構築した。 核化されたダイナミクスは有限時間間隔で収束し、純粋な勾配死ダイナミクスは0に縮まる。 最後に、Gibs測度に対する核化されたダイナミクスの状態の収束に関する長時間の結果を証明する。
  論文  参考訳（メタデータ） (2022-11-01T13:30:26Z)
• Log-linear Guardedness and its Implications [116.87322784046926]
  線形性を仮定する神経表現から人間の解釈可能な概念を消去する方法は、抽出可能で有用であることが判明した。 この研究は、対数線ガードネスの概念を、敵が表現から直接その概念を予測することができないものとして正式に定義している。 バイナリの場合、ある仮定の下では、下流の対数線形モデルでは消去された概念を復元できないことを示す。
  論文  参考訳（メタデータ） (2022-10-18T17:30:02Z)
• WeightMom: Learning Sparse Networks using Iterative Momentum-based pruning [0.0]
  本稿では,前回の繰り返しの運動量に基づいて徐々に重みを刈り取る,重みに基づくプルーニング手法を提案する。 我々は,CIFAR-10やCIFAR-100といった画像分類データセットを用いて,AlexNet,VGG16,ResNet50などのネットワークに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2022-08-11T07:13:59Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Intrinsic mechanisms for drive-dependent Purcell decay in superconducting quantum circuits [68.8204255655161]
  キャビティ・クビット・デチューニングは,多種多様な設定において,非ゼロフォトニック集団がクビット崩壊パーセルを増大または減少させるか否かを制御している。 本手法は,ケディシュによるシステム処理の知見とリンドブラッド理論を組み合わせたものである。
  論文  参考訳（メタデータ） (2021-06-09T16:21:31Z)
• Multiplicative Reweighting for Robust Neural Network Optimization [51.67267839555836]
  MW(multiplicative weight)更新は、専門家のアドバイスにより、適度なデータ破損に対して堅牢である。 MWはラベルノイズの存在下でニューラルネットワークの精度を向上することを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:40:25Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Exploring Weight Importance and Hessian Bias in Model Pruning [55.75546858514194]
  我々は,重要な自然概念に基づいて,刈り取りの原理的探索を行う。 線形モデルの場合、この重要度の概念は、よく知られたヘッセン式プルーニングアルゴリズムに接続するスケーリングによって得られる。 より小さくなったにもかかわらず重みがより重要になるような設定を特定し、その結果、マグニチュードベースプルーニングの破滅的な失敗に繋がる。
  論文  参考訳（メタデータ） (2020-06-19T00:15:55Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。