Fugu-MT 論文翻訳(概要): Pruning Early Exit Networks

論文の概要: Pruning Early Exit Networks

arxiv url: http://arxiv.org/abs/2207.03644v1
Date: Fri, 8 Jul 2022 01:57:52 GMT
ステータス: 処理完了
システム内更新日: 2022-07-14 11:07:27.026469
Title: Pruning Early Exit Networks
Title（参考訳）: 早期排他ネットワークの運営
Authors: Alperen G\"ormez, Erdem Koyuncu
Abstract要約: モデル性能を高く保ちながら計算コストを削減しようとする2つのアプローチを組み合わせる。 1) ネットワーク全体を一度にプルーニングすること,(2) ベースネットワークをプルーニングすること,および線形分類器を順序付きで追加すること,の2つのアプローチを評価する。
参考スコア（独自算出の注目度）: 14.048989759890475
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep learning models that perform well often have high computational costs. In this paper, we combine two approaches that try to reduce the computational cost while keeping the model performance high: pruning and early exit networks. We evaluate two approaches of pruning early exit networks: (1) pruning the entire network at once, (2) pruning the base network and additional linear classifiers in an ordered fashion. Experimental results show that pruning the entire network at once is a better strategy in general. However, at high accuracy rates, the two approaches have a similar performance, which implies that the processes of pruning and early exit can be separated without loss of optimality.
Abstract（参考訳）: よく機能するディープラーニングモデルは、しばしば計算コストが高い。本稿では,モデル性能を高く保ちながら計算コストを削減しようとする2つのアプローチを組み合わせる。 1) ネットワーク全体を一度にプルーニングすること,(2) ベースネットワークをプルーニングすること,および線形分類器を順序付きで追加すること,の2つのアプローチを評価する。実験の結果、ネットワーク全体を一度に刈り取る方がより優れた戦略であることが判明した。しかし、高い精度でこの2つのアプローチは類似の性能を有しており、プラニングと早期出口のプロセスは最適性を損なうことなく分離することができる。

関連論文リスト

Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training [3.2214522506924093]
プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。 CIFAR-10 と CIFAR-100 を用いた結果,分類精度が1% 未満の深層ネットワークにおける接続の50%を除去できることが示唆された。
論文参考訳（メタデータ） (2023-02-17T09:37:17Z)
Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
論文参考訳（メタデータ） (2023-01-01T03:10:45Z)
What to Prune and What Not to Prune at Initialization [0.0]
トレーニング後のドロップアウトベースのアプローチは、高いスパシティを実現する。ネットワークの計算コストのスケーリングに関しては,初期化プルーニングの方が有効だ。目標は、パフォーマンスを維持しながら、より高い疎性を達成することです。
論文参考訳（メタデータ） (2022-09-06T03:48:10Z)
Winning the Lottery Ahead of Time: Efficient Early Network Pruning [28.832060124537843]
ディープニューラルネットワークをスパース化するタスクであるPruningは、最近注目を集めている。本研究では, 早期圧縮をグラディエントフロー保存 (EarlyCroP) で行うことで, 訓練前後に最先端のスパースモデルを効率的に抽出する手法を提案する。 EarlyCroPは、プルーニングベースラインを上回りながら、密集したトレーニングに匹敵する精度に導かれる。
論文参考訳（メタデータ） (2022-06-21T14:59:53Z)
Neural Network Compression via Effective Filter Analysis and Hierarchical Pruning [41.19516938181544]
現在のネットワーク圧縮法には、最大圧縮率を推定する理論的な枠組みが欠如している。本研究では,ネットワークの最大冗長性を推定するための勾配行列特異点解析に基づく手法を提案する。この最大速度で導かれ,ネットワーク性能を犠牲にすることなく,ニューロンネットワーク構造を最大化するために,新規で効率的な階層型ネットワークプルーニングアルゴリズムを開発した。
論文参考訳（メタデータ） (2022-06-07T21:30:47Z)
The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
論文参考訳（メタデータ） (2022-02-05T21:19:41Z)
When to Prune? A Policy towards Early Structural Pruning [27.91996628143805]
我々は,パフォーマンスを損なうことなく,できるだけ早期に訓練を行う政策を提案する。我々の方法では、最先端のプルーニングに比べて1.4%の精度でトップ1の精度が向上し、GPUのトレーニングコストを2.4%削減する。
論文参考訳（メタデータ） (2021-10-22T18:39:22Z)
Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文参考訳（メタデータ） (2021-03-10T03:59:03Z)
Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文参考訳（メタデータ） (2020-12-16T20:16:28Z)
Progressive Skeletonization: Trimming more fat from a network at initialization [76.11947969140608]
本稿では,接続感度が最大となるスケルトン化ネットワークを提案する。次に、目的を最大化する2つの近似手順を提案する。提案手法は, 高い刈り込みレベルにおいて, 性能を著しく向上させる。
論文参考訳（メタデータ） (2020-06-16T11:32:47Z)
A "Network Pruning Network" Approach to Deep Model Compression [62.68120664998911]
マルチタスクネットワークを用いた深部モデル圧縮のためのフィルタプルーニング手法を提案する。我々のアプローチは、プレナーネットワークを学習して、事前訓練されたターゲットネットワークを訓練することに基づいている。提案手法によって生成された圧縮モデルは汎用的であり,特別なハードウェア/ソフトウェアのサポートは不要である。
論文参考訳（メタデータ） (2020-01-15T20:38:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。