論文の概要: An Once-for-All Budgeted Pruning Framework for ConvNets Considering Input Resolution

• arxiv url: http://arxiv.org/abs/2012.00996v1
• Date: Wed, 2 Dec 2020 07:09:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 04:00:26.633922
• Title: An Once-for-All Budgeted Pruning Framework for ConvNets Considering Input Resolution
• Title（参考訳）: 入力解像度を考慮したconvnetの予算別プルーニングフレームワーク
• Authors: Wenyu Sun, Jian Cao, Pengtao Xu, Xiangcheng Liu, Pu Li
• Abstract要約: そこで本稿では,OFARPruning (OFARPruning) を効率よく提案し,優勝チケットに近い多数のコンパクトネットワーク構造を求める。 画像分類とオブジェクト検出に基づく実験により、OFARPruningは1回限りの圧縮法よりも精度が高いことが示された。
• 参考スコア（独自算出の注目度）: 6.5427577097998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an efficient once-for-all budgeted pruning framework (OFARPruning) to find many compact network structures close to winner tickets in the early training stage considering the effect of input resolution during the pruning process. In structure searching stage, we utilize cosine similarity to measure the similarity of the pruning mask to get high-quality network structures with low energy and time consumption. After structure searching stage, our proposed method randomly sample the compact structures with different pruning rates and input resolution to achieve joint optimization. Ultimately, we can obtain a cohort of compact networks adaptive to various resolution to meet dynamic FLOPs constraints on different edge devices with only once training. The experiments based on image classification and object detection show that OFARPruning has a higher accuracy than the once-for-all compression methods such as US-Net and MutualNet (1-2% better with less FLOPs), and achieve the same even higher accuracy as the conventional pruning methods (72.6% vs. 70.5% on MobileNetv2 under 170 MFLOPs) with much higher efficiency.
• Abstract（参考訳）: そこで我々は,プレニング過程における入力解像度の影響を考慮し,入賞チケットに近い多数のコンパクトネットワーク構造を見つけるために,効率的な1対全予算プルーニングフレームワーク(OFARPruning)を提案する。 構造探索段階では,コサイン類似性を利用してプルーニングマスクの類似度を測定し,低エネルギー・時間消費で高品質なネットワーク構造を得る。 構造探索段階の後,提案手法は異なるプルーニング率と入力解像度を持つコンパクト構造をランダムにサンプリングし,共同最適化を実現する。 最終的に、異なるエッジデバイス上で動的フロップス制約を満たすために、様々な解像度に適応したコンパクトネットワークのコホートを得ることができる。 画像分類と物体検出に基づく実験では,us-net や mutualnet のような全圧縮法よりもofarpruning の方が精度が高く(フロップが少ない方が1～2%優れる),従来のプルーニング法 (mobilenetv2 では 170 mflops 以下で72.6%,mobilenetv2 では 70.5%) と非常に高い効率を実現している。

関連論文リスト

• Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
  本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。 提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
  論文  参考訳（メタデータ） (2024-11-14T02:00:22Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• Connectivity Matters: Neural Network Pruning Through the Lens of Effective Sparsity [0.0]
  ニューラル・ネットワーク・プルーニング(Neural Network pruning)は、高空間性体制への関心が高まり、実りある研究分野である。 ランダムに刈り取られたLeNet-300-100の効率的な圧縮は、直接の圧縮よりも桁違いに大きいことを示す。 我々は, 直接的, 疎性ではなく, 効果的に目的を達成するために, プルーニングアルゴリズムを低コストで拡張する手法を開発した。
  論文  参考訳（メタデータ） (2021-07-05T22:36:57Z)
• Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
  異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。 このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
  論文  参考訳（メタデータ） (2021-05-26T17:01:52Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Paying more attention to snapshots of Iterative Pruning: Improving Model Compression via Ensemble Distillation [4.254099382808598]
  既存の手法はしばしば、性能に大きな損失を与えることなく、高い圧縮率を達成するために反復的にプルーンネットワークを使用する。 本研究は,ネットワーク構造に異なる競合性能を実現するため,反復的プルーニングのスナップショットから強力なアンサンブルを構築することができることを示す。 CIFARやTiny-Imagenetなどの標準画像分類ベンチマークでは、簡単なl1-normフィルタをパイプラインに組み込むことで、構造化プルーニングの最先端プルーニング比を推し進める。
  論文  参考訳（メタデータ） (2020-06-20T03:59:46Z)
• Joint Multi-Dimension Pruning via Numerical Gradient Update [120.59697866489668]
  本稿では,空間,深さ,チャネルの3つの重要な側面において,ネットワークを同時に切断する方法であるジョイント・マルチディメンジョン・プルーニング(ジョイント・プルーニング)を提案する。 本手法は,1つのエンドツーエンドトレーニングにおいて3次元にわたって協調的に最適化され,従来よりも効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-05-18T17:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。