論文の概要: CrAFT: Compression-Aware Fine-Tuning for Efficient Visual Task
Adaptation
- arxiv url: http://arxiv.org/abs/2305.04526v2
- Date: Sun, 9 Jul 2023 00:08:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 18:23:57.576563
- Title: CrAFT: Compression-Aware Fine-Tuning for Efficient Visual Task
Adaptation
- Title(参考訳): CrAFT: 効率的な視覚タスク適応のための圧縮対応ファインチューニング
- Authors: Jung Hwan Heo, Seyedarmin Azizi, Arash Fayyazi, Massoud Pedram
- Abstract要約: プルーニングや量子化といったポストトレーニング後の圧縮技術は、デプロイメントコストの削減に役立つ。
本稿では,ネットワーク圧縮を効果的に訓練するフレームワークCrAFTを提案する。
CrAFTアプローチは、単一のGPUで数分または数時間以内に微調整を行うため、無視可能なトレーニングオーバーヘッドを追加する。
- 参考スコア(独自算出の注目度): 3.043665249713003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transfer learning has become a popular task adaptation method in the era of
foundation models. However, many foundation models require large storage and
computing resources, which makes off-the-shelf deployment impractical.
Post-training compression techniques such as pruning and quantization can help
lower deployment costs. Unfortunately, the resulting performance degradation
limits the usability and benefits of such techniques. To close this performance
gap, we propose CrAFT, a simple fine-tuning framework that enables effective
post-training network compression. In CrAFT, users simply employ the default
fine-tuning schedule along with sharpness minimization objective,
simultaneously facilitating task adaptation and compression-friendliness.
Contrary to the conventional sharpness minimization techniques, which are
applied during pretraining, the CrAFT approach adds negligible training
overhead as fine-tuning is done in under a couple of minutes or hours with a
single GPU. The effectiveness of CrAFT, which is a general-purpose tool that
can significantly boost one-shot pruning and post-training quantization, is
demonstrated on both convolution-based and attention-based vision foundation
models on a variety of target tasks. The code will be made publicly available.
- Abstract(参考訳): 転移学習は基礎モデルの時代において一般的なタスク適応手法となった。
しかし、多くのファンデーションモデルは大規模なストレージとコンピューティングリソースを必要としている。
プルーニングや量子化といったポストトレーニング圧縮技術は、デプロイメントコストの削減に役立つ。
残念ながら、結果として生じるパフォーマンス劣化は、そのようなテクニックのユーザビリティとメリットを制限します。
この性能ギャップを埋めるために,ネットワーク圧縮を効果的に学習できる簡易な微調整フレームワークCrAFTを提案する。
CrAFTでは、ユーザーは単にデフォルトの微調整スケジュールとシャープネスの最小化目標を使い、同時にタスク適応と圧縮親和性を容易にする。
事前トレーニング中に適用される従来のシャープネス最小化技術とは対照的に、CrAFTアプローチでは、単一のGPUで数分または数時間で微調整を行うため、無視可能なトレーニングオーバーヘッドが加わる。
汎用ツールであるCrAFTの有効性は,多種多様な目標タスクにおいて,畳み込みに基づく視覚基盤モデルと注意に基づく視覚基盤モデルの両方で実証された。
コードは公開される予定だ。
関連論文リスト
- PYRA: Parallel Yielding Re-Activation for Training-Inference Efficient Task Adaptation [61.57833648734164]
本稿では,PYRA(Parallel Yielding Re-Activation)手法を提案する。
PYRAは低圧縮率と高圧縮率の両方で競合する全ての手法より優れている。
論文 参考訳(メタデータ) (2024-03-14T09:06:49Z) - A Fast Training-Free Compression Framework for Vision Transformers [3.5024680868164437]
トケンプルーニングは、大きなトランスフォーマーモデルの推論を高速化する有効なソリューションとして登場した。
しかし、ViT(Vision Transformer)モデルの加速には、スクラッチからのトレーニングや、追加パラメータによる微調整が必要である。
本研究では, (i) 初期層における高密度特徴抽出器, (ii) 圧縮性に優れたシャープネス最小化モデル, (iii) 局所的・グローバル的トークンマージによる高速な訓練自由圧縮フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-04T05:34:25Z) - Optimal Brain Compression: A Framework for Accurate Post-Training
Quantization and Pruning [29.284147465251685]
重み付けと量子化の両方を統一した環境でカバーする新しい圧縮フレームワークを提案する。
既存のポストトレーニング手法の圧縮精度トレードオフにより, 大幅な改善が期待できることを示す。
論文 参考訳(メタデータ) (2022-08-24T14:33:35Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2022-03-30T23:16:07Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳(メタデータ) (2022-03-23T06:24:31Z) - Practical Network Acceleration with Tiny Sets [38.742142493108744]
ネットワーク圧縮は、ディープニューラルネットワークの推論を加速するのに有効である。
しかし、精度の低下から回復するためには、トレーニングデータをすべて微調整する必要があることが多い。
そこで本研究では, PRACTISEという手法を用いて, トレーニング画像の小さなセットでネットワークを高速化する手法を提案する。
論文 参考訳(メタデータ) (2022-02-16T05:04:38Z) - ProgFed: Effective, Communication, and Computation Efficient Federated
Learning by Progressive Training [78.44473677588887]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。
これは本質的に、最終モデルの強力な性能を維持しながら、計算と双方向通信コストを削減します。
以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文 参考訳(メタデータ) (2021-10-11T14:45:00Z) - You Only Compress Once: Towards Effective and Elastic BERT Compression
via Exploit-Explore Stochastic Nature Gradient [88.58536093633167]
既存のモデル圧縮アプローチでは、さまざまなハードウェアデプロイメントに対応するために、さまざまな制約にまたがる再圧縮や微調整が必要となる。
圧縮を一度行い、至るところに展開するための新しいアプローチであるYOCO-BERTを提案する。
最先端のアルゴリズムと比較すると、YOCO-BERTはよりコンパクトなモデルを提供するが、GLUEベンチマークの平均精度は2.1%-4.5%向上している。
論文 参考訳(メタデータ) (2021-06-04T12:17:44Z) - Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive
Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。
本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文 参考訳(メタデータ) (2020-06-22T10:57:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。