論文の概要: Pear: Pruning and Sharing Adapters in Visual Parameter-Efficient Fine-Tuning
- arxiv url: http://arxiv.org/abs/2409.19733v1
- Date: Sun, 29 Sep 2024 15:18:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 22:04:09.005961
- Title: Pear: Pruning and Sharing Adapters in Visual Parameter-Efficient Fine-Tuning
- Title（参考訳）: Pear: ビジュアルパラメータ効率の良いファインチューニングにおけるプルーニングとアダプタの共有
- Authors: Yibo Zhong, Yao Zhou,
- Abstract要約: アダプタは冗長性を示し、不要なストレージオーバーヘッドと性能の低下につながる。
本研究では,事前学習した視覚基盤モデルの高精度な微調整を行うための,新しいアダプタ・プルーニングフレームワークPrune and Share (Pear)を提案する。
- 参考スコア（独自算出の注目度）: 6.068296063531189
- License:
- Abstract: Adapters have been widely explored to alleviate computational and storage costs when fine-tuning pretrained foundation models. However, the adapter itself can exhibit redundancy, leading to unnecessary storage overhead and inferior performance. In this paper, we propose Prune and Share (Pear), a novel adapter-pruning framework for efficient fine-tuning of pretrained visual foundation models. Specifically, we prune certain adapters and share the more important unpruned ones with positions where adapters are pruned, allowing continual adaptation at these positions after pruning. Additionally, a knowledge checkpoint strategy is introduced, which preserves the information of the pruned adapters and further boosts performance. Experimental results on visual adaptation benchmark validate the effectiveness and efficiency of the proposed Pear comparing to other competitive methods. Code is in https://github.com/yibozhong/pear.
- Abstract（参考訳）: アダプタは、微調整された基礎モデルにおいて計算と記憶のコストを軽減するために広く研究されてきた。
しかし、アダプタ自体が冗長性を示し、不要なストレージオーバーヘッドと性能の低下につながる。
本稿では,事前学習した視覚基盤モデルの高精度な微調整を行うための,新しいアダプタ・プルーニングフレームワークであるPrune and Share (Pear)を提案する。
具体的には、特定のアダプタをプルークし、より重要でないアダプタをプルークされた位置と共有し、プルーニング後のこれらの位置への連続的な適応を可能にする。
さらに、プルーンドアダプタの情報を保存する知識チェックポイント戦略を導入し、パフォーマンスをさらに向上させる。
視覚適応ベンチマークの実験結果は、他の競合手法と比較して、提案したPearの有効性と効率を検証した。
コードはhttps://github.com/yibozhong/pear.comにある。
関連論文リスト
- MoSA: Mixture of Sparse Adapters for Visual Efficient Tuning [20.68925288222065]
スパースアダプタの混合(英: Mixture of Sparse Adapters, MoSA)は、新しいアダプタチューニング法である。
MoSAは、余分な計算ストレージオーバーヘッドを伴わずに、標準よりも大幅にパフォーマンスが向上する。
MoSAは、他のAdapter Tuningメソッド、および他のベースラインを大きなマージンで一貫して上回っている。
論文 参考訳（メタデータ） (2023-12-05T17:50:55Z) - MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。
2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
論文 参考訳（メタデータ） (2023-08-30T12:10:17Z) - Towards Efficient Visual Adaption via Structural Re-parameterization [76.57083043547296]
本稿では,RepAdapterと呼ばれる巨大ビジョンモデルに対して,パラメータ効率と計算親和性を考慮したアダプタを提案する。
RepAdapterは、VTAB-1k上で25%のトレーニング時間、20%のGPUメモリ、94.6%のストレージコストを節約できる。
論文 参考訳（メタデータ） (2023-02-16T06:14:15Z) - SparseAdapter: An Easy Approach for Improving the Parameter-Efficiency
of Adapters [96.52807311742198]
我々は、ネットワークプルーニングのレンズを通して、アダプタのパラメータ効率を再検討する。
スパース比が最大80%に達すると、SparseAdapterは標準のAdapterよりも同等あるいは優れたパフォーマンスを達成できることがわかった。
論文 参考訳（メタデータ） (2022-10-09T15:28:48Z) - Adaptable Adapters [74.65986170056945]
最先端のNLPモデルには1億から1兆のパラメータが含まれる。
適応アダプタは異なる層と異なる入力データに対して異なるアクティベーション関数を含む。
適応型アダプタは,標準アダプタアーキテクチャを用いてオンパー性能を実現する。
論文 参考訳（メタデータ） (2022-05-03T14:59:27Z) - AdapterBias: Parameter-efficient Token-dependent Representation Shift
for Adapters in NLP Tasks [55.705355299065474]
数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。
近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。
本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
論文 参考訳（メタデータ） (2022-04-30T16:49:41Z) - On the Effectiveness of Adapter-based Tuning for Pretrained Language
Model Adaptation [36.37565646597464]
プリトレーニング言語モデル(PrLM)に軽量アダプタモジュールを追加することで、アダプタベースのチューニングが機能する
新しいタスクごとにいくつかのトレーニング可能なパラメータを追加するだけで、高いパラメータ共有が可能になる。
アダプタベースのチューニングは,低リソースタスクと多言語タスクの微調整に優れることを示す。
論文 参考訳（メタデータ） (2021-06-06T16:10:12Z) - AdapterDrop: On the Efficiency of Adapters in Transformers [53.845909603631945]
大規模に事前訓練されたトランスフォーマーモデルは、微調整に計算コストがかかり、推論に時間がかかり、大きなストレージ要求がある。
最近のアプローチでは、より小さなモデルをトレーニングし、モデルサイズを動的に削減し、軽量アダプタをトレーニングすることで、これらの欠点に対処している。
論文 参考訳（メタデータ） (2020-10-22T17:49:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。