論文の概要: Consolidator: Mergeable Adapter with Grouped Connections for Visual
Adaptation
- arxiv url: http://arxiv.org/abs/2305.00603v1
- Date: Sun, 30 Apr 2023 23:59:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 14:31:01.982052
- Title: Consolidator: Mergeable Adapter with Grouped Connections for Visual
Adaptation
- Title（参考訳）: Consolidator: 視覚適応のためのグループ接続を備えたマージ可能なアダプタ
- Authors: Tianxiang Hao, Hui Chen, Yuchen Guo and Guiguang Ding
- Abstract要約: 視覚変換器の知識を効率よく効果的に伝達する方法を示す。
調整可能なパラメータの小さなセットを追加して,事前学習モデルを変更するコンソリケータを提案する。
我々のコンソリエータは、0.35%のパラメータで完全な微調整よりも最大7.56の精度で到達できる。
- 参考スコア（独自算出の注目度）: 53.835365470800916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, transformers have shown strong ability as visual feature
extractors, surpassing traditional convolution-based models in various
scenarios. However, the success of vision transformers largely owes to their
capacity to accommodate numerous parameters. As a result, new challenges for
adapting large models to downstream tasks arise. On the one hand, classic
fine-tuning tunes all parameters in a huge model for every task and thus easily
falls into overfitting, leading to inferior performance. On the other hand, on
resource-limited devices, fine-tuning stores a full copy of parameters and thus
is usually impracticable for the shortage of storage space. However, few works
have focused on how to efficiently and effectively transfer knowledge in a
vision transformer. Existing methods did not dive into the properties of visual
features, leading to inferior performance. Moreover, some of them bring heavy
inference cost though benefiting storage. To tackle these problems, we propose
consolidator to modify the pre-trained model with the addition of a small set
of tunable parameters to temporarily store the task-specific knowledge while
freezing the backbone model. Motivated by the success of group-wise
convolution, we adopt grouped connections across the features extracted by
fully connected layers to construct tunable parts in a consolidator. To further
enhance the model's capacity to transfer knowledge under a constrained storage
budget and keep inference efficient, we consolidate the parameters in two
stages: 1. between adaptation and storage, and 2. between loading and
inference. On a series of downstream visual tasks, our consolidator can reach
up to 7.56 better accuracy than full fine-tuning with merely 0.35% parameters,
and outperform state-of-the-art parameter-efficient tuning methods by a clear
margin. Code is available at https://github.com/beyondhtx/Consolidator.
- Abstract（参考訳）: 近年、トランスフォーマーは様々なシナリオにおいて従来の畳み込みモデルを上回る視覚的特徴抽出器として強い能力を示している。
しかし、視覚トランスフォーマーの成功は、多くのパラメータに対応する能力に大きく依存している。
その結果、ダウンストリームタスクに大規模モデルを適用するための新たな課題が発生する。
一方、古典的な微調整は、全てのタスクの巨大なモデルで全てのパラメータを調整し、容易に過度な適合に陥り、性能が劣る。
一方、リソース制限されたデバイスでは、ファインチューニングはパラメータの完全なコピーを格納するので、ストレージスペースの不足に対して通常は実行不可能である。
しかし、視覚トランスフォーマーにおける知識を効率的に伝達する方法に焦点をあてた作品はほとんどない。
既存の手法は視覚的特徴の性質に潜り込まなかったため、性能は劣った。
さらに、ストレージのメリットはあるものの、高い推論コストをもたらすものもある。
これらの問題に対処するために,バックボーンモデルを凍結しながらタスク固有の知識を一時的に保存するために,調整可能なパラメータの小さなセットを追加して事前学習モデルを変更するコンソリケータを提案する。
グループ的な畳み込みの成功に動機づけられ、完全連結層によって抽出された特徴をまたいだグループ接続を採用し、コンソリゲータ内の可変部分を構築する。
制約付き記憶予算の下で知識を伝達し、推論を効率よく維持するモデルの能力をさらに強化するために、パラメータを2段階に集約する。
1. 適応と記憶、そして
2. ロードと推論の間。
一連の下流視覚タスクにおいて、コンソリケータは、パラメータの0.35%しか持たない完全微調整よりも最大7.56倍の精度を達成でき、最先端パラメータ効率チューニング手法をクリアマージンで上回る。
コードはhttps://github.com/beyondhtx/consolidatorで入手できる。
関連論文リスト
- Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。
学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。
本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
論文 参考訳（メタデータ） (2024-07-09T15:45:04Z) - Adapter-X: A Novel General Parameter-Efficient Fine-Tuning Framework for Vision [52.80792724919329]
本稿では,2次元画像と3次元点雲の微調整を改善するためのAdapter-Xという新しいフレームワークを提案する。
2D画像と3Dポイントの雲のモードで完全な微調整をし、パラメータが大幅に少ない、すなわち2Dと3Dの分類タスクにおいて、オリジナルのトレーニング可能なパラメータのわずか0.20%と1.88%で、初めて性能を上回った。
論文 参考訳（メタデータ） (2024-06-05T08:26:44Z) - Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。
モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。
本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
論文 参考訳（メタデータ） (2024-03-03T08:25:04Z) - Prompt Guided Transformer for Multi-Task Dense Prediction [14.815576352301322]
本稿では,Prompt Guided Transformerと呼ばれる軽量なタスク条件モデルを導入し,性能とモデルパラメータを最適化する。
提案手法は,タスク条件のパラメータを少なくしながら,タスク条件付き手法の最先端化を実現し,性能とパラメータサイズの間に大きなバランスを保っている。
論文 参考訳（メタデータ） (2023-07-28T07:25:57Z) - Rethinking Efficient Tuning Methods from a Unified Perspective [34.67645496324432]
我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。
U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
論文 参考訳（メタデータ） (2023-03-01T17:38:03Z) - Polyhistor: Parameter-Efficient Multi-Task Adaptation for Dense Vision
Tasks [36.34331439747556]
本稿では,複数のタスクにまたがる情報をトレーニング可能なパラメータで共有するために,PolyhistorとPolyhistor-Liteを提案する。
具体的には、Polyhistorは、トレーニング可能なパラメータの10%しか使用せず、最先端技術と比較して、競争精度を達成している。
論文 参考訳（メタデータ） (2022-10-07T00:25:02Z) - AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large
Language Models [119.7093605087114]
大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。
これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。
パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
論文 参考訳（メタデータ） (2022-05-24T23:41:22Z) - AdapterBias: Parameter-efficient Token-dependent Representation Shift
for Adapters in NLP Tasks [55.705355299065474]
数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。
近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。
本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
論文 参考訳（メタデータ） (2022-04-30T16:49:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。