論文の概要: To prune or not to prune : A chaos-causality approach to principled pruning of dense neural networks

• arxiv url: http://arxiv.org/abs/2308.09955v1
• Date: Sat, 19 Aug 2023 09:17:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 18:49:53.585053
• Title: To prune or not to prune : A chaos-causality approach to principled pruning of dense neural networks
• Title（参考訳）: prune と not to prune : 密集したニューラルネットワークの原理的pruningに対するカオス-causality アプローチ
• Authors: Rajan Sahu, Shivam Chadha, Nithin Nagaraj, Archana Mathur, Snehanshu Saha
• Abstract要約: 本稿では,誤分類の原因となる因果的重みを特定するために,重み更新と因果性を利用した学習におけるカオス(リャプノフ指数)の概念を紹介する。 このような切断されたネットワークは、元の性能を維持し、機能説明可能性を維持する。
• 参考スコア（独自算出の注目度）: 1.9249287163937978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reducing the size of a neural network (pruning) by removing weights without impacting its performance is an important problem for resource-constrained devices. In the past, pruning was typically accomplished by ranking or penalizing weights based on criteria like magnitude and removing low-ranked weights before retraining the remaining ones. Pruning strategies may also involve removing neurons from the network in order to achieve the desired reduction in network size. We formulate pruning as an optimization problem with the objective of minimizing misclassifications by selecting specific weights. To accomplish this, we have introduced the concept of chaos in learning (Lyapunov exponents) via weight updates and exploiting causality to identify the causal weights responsible for misclassification. Such a pruned network maintains the original performance and retains feature explainability.
• Abstract（参考訳）: 性能に影響を与えることなく重みを除去することでニューラルネットワーク(プルーニング)のサイズを縮小することは、リソース制約されたデバイスにとって重要な問題である。 過去には、プルーニングは通常、大きさなどの基準に基づいて重みをランク付けまたはペナル化することで行われ、残りの重みをトレーニングする前に低ランクの重みを取り除いた。 切断戦略は、ネットワークサイズを所望する減少を達成するために、ネットワークからニューロンを除去することも含む。 具体的重みの選択による誤分類の最小化を目的とし,最適化問題としてプルーニングを定式化する。 そこで我々は,学習におけるカオス(リャプノフ指数)の概念を,重み更新と因果性を利用した誤分類の因果重の同定を通じて導入した。 このようなプルーニングされたネットワークは、元のパフォーマンスを維持し、特徴説明可能性を維持する。

関連論文リスト

• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• What to Prune and What Not to Prune at Initialization [0.0]
  トレーニング後のドロップアウトベースのアプローチは、高いスパシティを実現する。 ネットワークの計算コストのスケーリングに関しては,初期化プルーニングの方が有効だ。 目標は、パフォーマンスを維持しながら、より高い疎性を達成することです。
  論文  参考訳（メタデータ） (2022-09-06T03:48:10Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Receding Neuron Importances for Structured Pruning [11.375436522599133]
  構造化プルーニングは、重要でないニューロンを特定して除去することで、ネットワークを効率的に圧縮する。 境界スケーリングパラメータを持つ単純なBatchNorm変動を導入し、低重要性のニューロンのみを抑制する新しい正規化項を設計する。 我々は、この方法でトレーニングされたニューラルネットワークを、より大きく、より少ない劣化で刈り取ることができることを示した。
  論文  参考訳（メタデータ） (2022-04-13T14:08:27Z)
• Cascade Weight Shedding in Deep Neural Networks: Benefits and Pitfalls for Network Pruning [73.79377854107514]
  カスケード重み付けは,現在ある場合,ランダムプルーニングなどの非最適スキームの性能を著しく向上させることができることを示す。 我々は,gmpの精度向上のためのカスケード重みシェディングの可能性を示し,計算量を削減する。 重み付けと学習段階の巻き戻し手法に光を当て,カスケードの重み付けに結びつく可能性を示し,微調整よりも有利な理由を示した。
  論文  参考訳（メタデータ） (2021-03-19T04:41:40Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。