論文の概要: Conv-Adapter: Exploring Parameter Efficient Transfer Learning for ConvNets
- arxiv url: http://arxiv.org/abs/2208.07463v4
- Date: Fri, 12 Apr 2024 04:48:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-15 20:25:39.004308
- Title: Conv-Adapter: Exploring Parameter Efficient Transfer Learning for ConvNets
- Title（参考訳）: Conv-Adapter:ConvNetのためのパラメータ効率の良い転送学習の探索
- Authors: Hao Chen, Ran Tao, Han Zhang, Yidong Wang, Xiang Li, Wei Ye, Jindong Wang, Guosheng Hu, Marios Savvides,
- Abstract要約: 本稿では,ConvNets用に設計されたPETモジュールであるConv-Adapterを提案する。
Conv-Adapterは軽量で、ドメイン変換可能で、アーキテクチャに依存しない。
- 参考スコア（独自算出の注目度）: 44.803943331137546
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While parameter efficient tuning (PET) methods have shown great potential with transformer architecture on Natural Language Processing (NLP) tasks, their effectiveness with large-scale ConvNets is still under-studied on Computer Vision (CV) tasks. This paper proposes Conv-Adapter, a PET module designed for ConvNets. Conv-Adapter is light-weight, domain-transferable, and architecture-agnostic with generalized performance on different tasks. When transferring on downstream tasks, Conv-Adapter learns tasks-specific feature modulation to the intermediate representations of backbones while keeping the pre-trained parameters frozen. By introducing only a tiny amount of learnable parameters, e.g., only 3.5% full fine-tuning parameters of ResNet50. It can also be applied for transformer-based backbones. Conv-Adapter outperforms previous PET baseline methods and achieves comparable or surpasses the performance of full fine-tuning on 23 classification tasks of various domains. It also presents superior performance on the few-shot classification with an average margin of 3.39%. Beyond classification, Conv-Adapter can generalize to detection and segmentation tasks with more than 50% reduction of parameters but comparable performance to the traditional full fine-tuning.
- Abstract（参考訳）: パラメータ効率的なチューニング(PET)法は自然言語処理(NLP)タスクにおけるトランスフォーマーアーキテクチャにおいて大きな可能性を示しているが、大規模なConvNetsの有効性はコンピュータビジョン(CV)タスクではまだ研究されていない。
本稿では,ConvNets用に設計されたPETモジュールであるConv-Adapterを提案する。
Conv-Adapterは軽量で、ドメイン変換可能で、アーキテクチャに依存しない。
下流のタスクを転送する際、Conv-Adapterは、トレーニング済みパラメータを凍結させながら、バックボーンの中間表現にタスク固有の特徴変調を学習する。
ResNet50の学習可能なパラメータをわずかに導入することで、ResNet50の完全な微調整パラメータを3.5%しか導入できない。
トランスフォーマーベースのバックボーンにも適用できる。
Conv-Adapterは従来のPETベースラインメソッドよりも優れており、さまざまなドメインの23の分類タスクにおいて、完全な微調整のパフォーマンスを同等または上回っている。
また、数発の分類では平均マージンが3.39%である。
分類以外にも、Conv-Adapterは50%以上のパラメータを削減できるが、従来のフル微調整に匹敵するパフォーマンスで、検出および分割タスクに一般化することができる。
関連論文リスト
- iConFormer: Dynamic Parameter-Efficient Tuning with Input-Conditioned Adaptation [15.97351561456467]
本稿では,iConFormerと呼ばれる新しいPEFT手法,入出力トランスフォーマーを提案する。
インスタンスレベルの特徴変換を可能にする動的アダプタに,入出力ネットワーク(iCoN)を導入する。
具体的に言うと、iCoNは各機能に対してチャネルワイドな畳み込みカーネルを生成し、それを適応畳み込みプロセスを使って変換し、下流タスクに適したタスク固有できめ細かな詳細を効果的にキャプチャする。
論文 参考訳（メタデータ） (2024-09-04T16:06:23Z) - Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。
モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。
本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
論文 参考訳（メタデータ） (2024-03-03T08:25:04Z) - Mini but Mighty: Finetuning ViTs with Mini Adapters [7.175668563148084]
アダプタの寸法が小さい場合、アダプタは性能が悪くなります。
この問題に対処するトレーニングフレームワークMiMiを提案する。
本手法は,精度と訓練されたパラメータの最良のトレードオフを見つける上で,既存の手法よりも優れている。
論文 参考訳（メタデータ） (2023-11-07T10:41:27Z) - Towards Efficient Visual Adaption via Structural Re-parameterization [76.57083043547296]
本稿では,RepAdapterと呼ばれる巨大ビジョンモデルに対して,パラメータ効率と計算親和性を考慮したアダプタを提案する。
RepAdapterは、VTAB-1k上で25%のトレーニング時間、20%のGPUメモリ、94.6%のストレージコストを節約できる。
論文 参考訳（メタデータ） (2023-02-16T06:14:15Z) - Tiny-Attention Adapter: Contexts Are More Important Than the Number of
Parameters [25.958600375299735]
Adapter-tuningは、トレーニング済みの言語モデルを、少数の新しいパラメータの追加とチューニングによって下流タスクに転送するパラダイムである。
本稿では, 極小アテンション, 極小アテンション・アテンション・アテンション・アテンション・アテンションをアダプタとして用いることの有効性について検討する。
私たちの小さなアテンションアダプタは、他のすべての位置にある隠された状態に直接条件付けられた各位置の隠された状態を変更することを学習します。
論文 参考訳（メタデータ） (2022-10-18T15:20:44Z) - SparseAdapter: An Easy Approach for Improving the Parameter-Efficiency
of Adapters [96.52807311742198]
我々は、ネットワークプルーニングのレンズを通して、アダプタのパラメータ効率を再検討する。
スパース比が最大80%に達すると、SparseAdapterは標準のAdapterよりも同等あるいは優れたパフォーマンスを達成できることがわかった。
論文 参考訳（メタデータ） (2022-10-09T15:28:48Z) - AdapterBias: Parameter-efficient Token-dependent Representation Shift
for Adapters in NLP Tasks [55.705355299065474]
数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。
近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。
本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
論文 参考訳（メタデータ） (2022-04-30T16:49:41Z) - VL-Adapter: Parameter-Efficient Transfer Learning for
Vision-and-Language Tasks [71.40656211497162]
近年、大規模なテキストコーパスで事前訓練された微調整言語モデルにより、視覚と言語(V&L)タスクが大幅に改善されている。
本稿では,VL-BARTやVL-T5などのV&Lモデルに対して,アダプタに基づくパラメータ効率変換学習手法を提案する。
提案手法は, モデル全体の微調整性能に適合することを示した。
論文 参考訳（メタデータ） (2021-12-13T17:35:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。