論文の概要: PaPr: Training-Free One-Step Patch Pruning with Lightweight ConvNets for Faster Inference
- arxiv url: http://arxiv.org/abs/2403.16020v2
- Date: Wed, 3 Jul 2024 07:21:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 19:44:31.460696
- Title: PaPr: Training-Free One-Step Patch Pruning with Lightweight ConvNets for Faster Inference
- Title（参考訳）: PaPr: 高速推論のための軽量ConvNetによるトレーニングフリーワンステップパッチ実行
- Authors: Tanvir Mahmud, Burhaneddin Yaman, Chun-Hao Liu, Diana Marculescu,
- Abstract要約: PaPrは、軽量なConvNetを使用して、最小限の精度で冗長なパッチを実質的に刈り取る方法である。
FLOPカウントの低減に類似した、最先端のパッチリダクション法よりもはるかに高い精度を実現している。
- 参考スコア（独自算出の注目度）: 11.112356346406365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As deep neural networks evolve from convolutional neural networks (ConvNets) to advanced vision transformers (ViTs), there is an increased need to eliminate redundant data for faster processing without compromising accuracy. Previous methods are often architecture-specific or necessitate re-training, restricting their applicability with frequent model updates. To solve this, we first introduce a novel property of lightweight ConvNets: their ability to identify key discriminative patch regions in images, irrespective of model's final accuracy or size. We demonstrate that fully-connected layers are the primary bottleneck for ConvNets performance, and their suppression with simple weight recalibration markedly enhances discriminative patch localization performance. Using this insight, we introduce PaPr, a method for substantially pruning redundant patches with minimal accuracy loss using lightweight ConvNets across a variety of deep learning architectures, including ViTs, ConvNets, and hybrid transformers, without any re-training. Moreover, the simple early-stage one-step patch pruning with PaPr enhances existing patch reduction methods. Through extensive testing on diverse architectures, PaPr achieves significantly higher accuracy over state-of-the-art patch reduction methods with similar FLOP count reduction. More specifically, PaPr reduces about 70% of redundant patches in videos with less than 0.8% drop in accuracy, and up to 3.7x FLOPs reduction, which is a 15% more reduction with 2.5% higher accuracy. Code is released at https://github.com/tanvir-utexas/PaPr.
- Abstract（参考訳）: 深層ニューラルネットワークが畳み込みニューラルネットワーク(ConvNets)から高度なビジョントランスフォーマー(ViTs)へと進化するにつれて、精度を損なうことなく高速な処理のために冗長なデータを除去する必要性が高まっている。
従来のメソッドはアーキテクチャ固有のものや再トレーニングが必要なものが多く、頻繁なモデル更新によって適用性を制限する。
そこで我々はまず,モデルの最終精度やサイズに関わらず,画像中の重要な識別パッチ領域を識別する機能である,軽量なConvNetの新たな特性を紹介する。
完全連結層がConvNetsの性能の第一のボトルネックであることを示し、単純な重み補正による抑制により、識別パッチのローカライゼーション性能が著しく向上することを示した。
この知見を用いて,ViT,ConvNet,ハイブリッドトランスフォーマーなど,さまざまなディープラーニングアーキテクチャを対象とした軽量なConvNetを用いて,最小限の精度で冗長なパッチを実質的に刈り取る手法PaPrを紹介した。
さらに,PaPrを用いたワンステップパッチプルーニングにより,既存のパッチリダクション手法が強化された。
多様なアーキテクチャの広範なテストを通じて、PaPrは、FLOPカウントの削減に類似した、最先端のパッチ削減手法よりもはるかに高い精度を実現している。
より具体的には、PaPrは0.8%未満の精度でビデオの冗長なパッチの約70%を削減し、3.7倍のFLOPを削減し、精度は2.5%向上した。
コードはhttps://github.com/tanvir-utexas/PaPr.orgで公開されている。
関連論文リスト
- Joint Pruning and Channel-wise Mixed-Precision Quantization for Efficient Deep Neural Networks [10.229120811024162]
ディープニューラルネットワーク(DNN)は、エッジデバイスへのデプロイメントに重大な課題をもたらす。
この問題に対処する一般的なアプローチは、プルーニングと混合精度量子化である。
そこで本研究では,軽量な勾配探索を用いて共同で適用するための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-01T08:07:02Z) - DRIVE: Dual Gradient-Based Rapid Iterative Pruning [2.209921757303168]
現代のディープニューラルネットワーク(DNN)は、数百万のパラメータで構成され、トレーニングと推論中にハイパフォーマンスコンピューティングを必要とする。
学習後推論の合理化に焦点をあてた従来の刈り込み手法は, 訓練前の刈り込みによって早期に疎水性を活用する試みが近年行われている。
創発に固有のランダム性に対処するために,初期エポックに対する濃密なトレーニングを活用するDual Gradient-Based Rapid Iterative Pruning (DRIVE)を提案する。
論文 参考訳（メタデータ） (2024-04-01T20:44:28Z) - LAPP: Layer Adaptive Progressive Pruning for Compressing CNNs from
Scratch [14.911305800463285]
本稿では,Layer Adaptive Progressive Pruning (LAPP) という新しいフレームワークを提案する。
LAPPは、各レイヤの学習可能なしきい値と、ネットワークのFLOP制約を導入する、効率的かつ効率的なプルーニング戦略を設計する。
提案手法は,各種データセットやバックボーンアーキテクチャにおける従来の圧縮手法よりも優れた性能向上を示す。
論文 参考訳（メタデータ） (2023-09-25T14:08:45Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Deep Patch Visual Odometry [66.8086971254714]
ディープパッチ・ビジュアル・オドメトリー(DPVO)はモノクル・ビジュアル・オドメトリー(VO)のための新しいディープラーニングシステムである
DPVOは、時間にわたってイメージパッチを追跡するように設計された、新しいリカレントネットワークアーキテクチャを使用している。
標準ベンチマークでは、DPVOは、学習に基づく最先端のVOシステムを含む、これまでのすべての作業より優れています。
論文 参考訳（メタデータ） (2022-08-08T04:47:38Z) - Structured Pruning is All You Need for Pruning CNNs at Initialization [38.88730369884401]
プルーニングは畳み込みニューラルネットワーク(CNN)のモデルサイズと計算コストを削減する一般的な手法である
ハードウェア効率の良いモデル圧縮方式であるPreCroppingを提案する。
重み付けと比較して, 提案手法は, 精度を犠牲にすることなく, 記憶と計算の両面において規則的で密度が高い。
論文 参考訳（メタデータ） (2022-03-04T19:54:31Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳（メタデータ） (2021-10-28T17:58:45Z) - Patch Slimming for Efficient Vision Transformers [107.21146699082819]
与えられたネットワーク上で冗長な計算を行うことにより,視覚変換器の効率性について検討する。
我々は、トップダウンパラダイムで無駄なパッチを捨てる、新しいパッチスリム化アプローチを提案する。
ベンチマークによる実験結果から,提案手法は視覚変換器の計算コストを大幅に削減できることが示された。
論文 参考訳（メタデータ） (2021-06-05T09:46:00Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Hessian-Aware Pruning and Optimal Neural Implant [74.3282611517773]
プルーニングは、ニューラルネットワークモデルに関連するメモリフットプリントとフラップを減らす効果的な方法である。
構造的プルーニングの指標として2次感度を用いたニューラルインプラントアプローチと組み合わされた新しいヘッセン認識プルーニング法を提案する。
論文 参考訳（メタデータ） (2021-01-22T04:08:03Z) - UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks
Compression and Acceleration [24.42067007684169]
深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。
それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。
CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
論文 参考訳（メタデータ） (2020-10-03T01:51:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。