論文の概要: Structured Pruning Adapters
- arxiv url: http://arxiv.org/abs/2211.10155v2
- Date: Mon, 21 Nov 2022 08:10:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 14:51:47.998418
- Title: Structured Pruning Adapters
- Title（参考訳）: 構造化プルーニングアダプタ
- Authors: Lukas Hedegaard, Aman Alok, Juby Jose, Alexandros Iosifidis
- Abstract要約: 本稿では,タスクスイッチングネットワークアダプタの圧縮系を提案する。
コンピュータビジョンと自然言語処理ベンチマークの一連のプルーニング手法を用いて評価を行った。
- 参考スコア（独自算出の注目度）: 80.88637963046573
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose Structured Pruning Adapters (SPAs), a family of compressing,
task-switching network adapters, that accelerate and specialize networks using
tiny parameter sets. Specifically, we propose a channel- and a block-based SPA
and evaluate them with a suite of pruning methods on both computer vision and
natural language processing benchmarks. Compared to regular structured pruning
with fine-tuning, our channel-SPA improves accuracy by 6.9% on average while
using half the parameters at 90% pruned weights. Alternatively, it can learn
adaptations with 17x fewer parameters at 70% pruning with 1.6% lower accuracy.
Similarly, our block-SPA requires far fewer parameters than pruning with
fine-tuning. Our experimental code and Python library of adapters are available
at github.com/lukashedegaard/structured-pruning-adapters.
- Abstract（参考訳）: 本稿では,小パラメータ集合を用いたネットワークの高速化と特化を行う圧縮タスクスイッチングネットワークアダプタ群であるStructured Pruning Adapters (SPAs)を提案する。
具体的には,チャネルベースおよびブロックベースのspaを提案し,コンピュータビジョンと自然言語処理ベンチマークの両方において,一連のプルーニング手法を用いて評価する。
微調整を施した通常の構造的刈り取りに比べて,各パラメータの半分を90%の刈り取り重みで使用しながら,平均で6.9%の精度向上を実現している。
あるいは、1.6%の精度で、70%のプルーニングで17倍のパラメータで適応を学習できる。
同様に、ブロックSPAは微調整でプルーニングするよりもはるかに少ないパラメータを必要とする。
実験コードとPythonライブラリはgithub.com/lukashedegaard/structured-pruning-adaptersで利用可能です。
関連論文リスト
- Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
私たちは新しいビジュアルを提案します。
Sensuous-Aware Fine-Tuning (SPT) スキーム。
SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。
ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
論文 参考訳（メタデータ） (2023-03-15T12:34:24Z) - SparseAdapter: An Easy Approach for Improving the Parameter-Efficiency
of Adapters [96.52807311742198]
我々は、ネットワークプルーニングのレンズを通して、アダプタのパラメータ効率を再検討する。
スパース比が最大80%に達すると、SparseAdapterは標準のAdapterよりも同等あるいは優れたパフォーマンスを達成できることがわかった。
論文 参考訳（メタデータ） (2022-10-09T15:28:48Z) - Depth Pruning with Auxiliary Networks for TinyML [15.118059441365343]
プルーニング(Pruning)は、低い計算要求と引き換えに精度を犠牲にするニューラルネットワーク最適化手法である。
本稿では,中間特徴写像の効率的なインタプリタとして,高効率な補助ネットワークを利用する改良を提案する。
Cortex-M0マイクロコントローラで評価すると,提案手法はVWWモデルのサイズを4.7倍,レイテンシを1.6倍削減し,直感的に精度を1%向上させる。
論文 参考訳（メタデータ） (2022-04-22T07:34:26Z) - End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。
提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
論文 参考訳（メタデータ） (2022-04-15T10:21:05Z) - MLPruning: A Multilevel Structured Pruning Framework for
Transformer-based Models [78.45898846056303]
プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。
我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
論文 参考訳（メタデータ） (2021-05-30T22:00:44Z) - Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。
顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。
EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文 参考訳（メタデータ） (2021-01-20T06:18:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。