論文の概要: Accelerate CNNs from Three Dimensions: A Comprehensive Pruning Framework

• arxiv url: http://arxiv.org/abs/2010.04879v3
• Date: Tue, 15 Jun 2021 13:02:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 23:10:50.916210
• Title: Accelerate CNNs from Three Dimensions: A Comprehensive Pruning Framework
• Title（参考訳）: 3次元のCNNを高速化する:包括的実行フレームワーク
• Authors: Wenxiao Wang, Minghao Chen, Shuai Zhao, Long Chen, Jinming Hu, Haifeng Liu, Deng Cai, Xiaofei He, Wei Liu
• Abstract要約: ほとんどのニューラルネットワークプルーニング手法は、計算予算を満たすために、ネットワークモデルを1つ(深さ、幅、解像度)に沿ってプルークする。 刈り取りは3次元を包括的に行うべきだと論じる。 提案アルゴリズムは最先端のプルーニングアルゴリズムやニューラルアーキテクチャ検索アルゴリズムを超越している。
• 参考スコア（独自算出の注目度）: 40.635566748735386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most neural network pruning methods, such as filter-level and layer-level prunings, prune the network model along one dimension (depth, width, or resolution) solely to meet a computational budget. However, such a pruning policy often leads to excessive reduction of that dimension, thus inducing a huge accuracy loss. To alleviate this issue, we argue that pruning should be conducted along three dimensions comprehensively. For this purpose, our pruning framework formulates pruning as an optimization problem. Specifically, it first casts the relationships between a certain model's accuracy and depth/width/resolution into a polynomial regression and then maximizes the polynomial to acquire the optimal values for the three dimensions. Finally, the model is pruned along the three optimal dimensions accordingly. In this framework, since collecting too much data for training the regression is very time-costly, we propose two approaches to lower the cost: 1) specializing the polynomial to ensure an accurate regression even with less training data; 2) employing iterative pruning and fine-tuning to collect the data faster. Extensive experiments show that our proposed algorithm surpasses state-of-the-art pruning algorithms and even neural architecture search-based algorithms.
• Abstract（参考訳）: フィルタレベルや層レベルのプルーニングなど、ほとんどのニューラルネットワークのプルーニング手法は、1次元(深さ、幅、解像度)に沿ってネットワークモデルをプルークし、計算予算を満たす。 しかし、このようなプルーニングポリシーは、しばしばその次元を過度に減らし、その結果、大きな精度の損失を引き起こす。 この問題を軽減するため、3次元を包括的に刈り取るべきである。 この目的のために、プルーニングフレームワークは最適化問題としてプルーニングを定式化する。 具体的には、まずあるモデルの精度と深さ/幅/解像度の関係を多項式回帰にキャストし、次に多項式を最大にして3次元の最適値を得る。 最後に、モデルが3つの最適次元に沿ってプルーニングされる。 このフレームワークでは、リグレッションをトレーニングするためにデータを集めるのに時間がかかりすぎるため、コストを下げるための2つのアプローチを提案します。 1) 多項式を特殊化し、訓練データが少なくても正確な回帰を確保すること。 2) データの収集を高速化するために反復的プルーニングと微調整を用いる。 大規模な実験の結果,提案アルゴリズムは最先端のプルーニングアルゴリズムやニューラルアーキテクチャ検索アルゴリズムを超越していることがわかった。

関連論文リスト

• Polynomial-Time Solutions for ReLU Network Training: A Complexity Classification via Max-Cut and Zonotopes [70.52097560486683]
  我々は、ReLUネットワークの近似の難しさがマックス・カッツ問題の複雑さを反映しているだけでなく、特定の場合において、それと完全に一致することを証明した。 特に、$epsilonleqsqrt84/83-1approx 0.006$とすると、目的値に関して相対誤差$epsilon$でReLUネットワーク対象の近似グローバルデータセットを見つけることはNPハードであることが示される。
  論文  参考訳（メタデータ） (2023-11-18T04:41:07Z)
• Fast Optimization of Weighted Sparse Decision Trees for use in Optimal Treatment Regimes and Optimal Policy Design [16.512942230284576]
  本稿では,効率的な重み付き決定木最適化のための3つのアルゴリズムを提案する。 最初のアプローチでは、重み付き損失関数を直接最適化するが、大規模なデータセットでは計算的に非効率である傾向がある。 第二のアプローチは、より効率的にスケールし、重みを整数値に変換し、データ重複を使って重み付けされた決定木最適化問題を非重み付き(より大きい)問題に変換する。 より大きなデータセットにスケールする第3のアルゴリズムは、各データポイントをその重みに比例した確率でサンプリングするランダム化された手順を使用する。
  論文  参考訳（メタデータ） (2022-10-13T08:16:03Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)
• A Partial Regularization Method for Network Compression [0.0]
  本稿では, モデル圧縮を高速に行うために, 完全正則化と言われる全てのパラメータをペナライズする元の形式ではなく, 部分正則化のアプローチを提案する。 実験結果から, ほぼすべての状況において, 走行時間の減少を観測することにより, 計算複雑性を低減できることが示唆された。 驚くべきことに、複数のデータセットのトレーニングフェーズとテストフェーズの両方において、回帰フィッティング結果や分類精度などの重要な指標を改善するのに役立ちます。
  論文  参考訳（メタデータ） (2020-09-03T00:38:27Z)
• Human Body Model Fitting by Learned Gradient Descent [48.79414884222403]
  画像に3次元の人体形状を適合させる新しいアルゴリズムを提案する。 このアルゴリズムは高速(約120ms収束)で、データセットに頑健であり、公開評価データセットの最先端結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-19T14:26:47Z)
• Joint Multi-Dimension Pruning via Numerical Gradient Update [120.59697866489668]
  本稿では,空間,深さ,チャネルの3つの重要な側面において,ネットワークを同時に切断する方法であるジョイント・マルチディメンジョン・プルーニング(ジョイント・プルーニング)を提案する。 本手法は,1つのエンドツーエンドトレーニングにおいて3次元にわたって協調的に最適化され,従来よりも効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-05-18T17:57:09Z)
• Pixel-in-Pixel Net: Towards Efficient Facial Landmark Detection in the Wild [104.61677518999976]
  顔のランドマークを検出するために,Pixel-in-Pixel Net(PIPNet)を提案する。 提案モデルは,熱マップ回帰に基づく新しい検出ヘッドを備える。 PIPNetのクロスドメイン一般化能力をさらに向上するため,カリキュラムによる自己学習を提案する。
  論文  参考訳（メタデータ） (2020-03-08T12:23:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。