論文の概要: Parameter-efficient Model Adaptation for Vision Transformers

• arxiv url: http://arxiv.org/abs/2203.16329v3
• Date: Thu, 13 Jul 2023 22:12:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 00:47:00.000012
• Title: Parameter-efficient Model Adaptation for Vision Transformers
• Title（参考訳）: 視覚トランスフォーマのパラメータ効率モデル適応
• Authors: Xuehai He, Chunyuan Li, Pengchuan Zhang, Jianwei Yang, Xin Eric Wang
• Abstract要約: 画像分類タスクにおける視覚変換器のパラメータ効率モデル適応戦略について検討する。 本稿では,局所固有次元を測定することで,まずサブモジュールを選択するパラメータ効率のよいモデル適応フレームワークを提案する。 提案手法は,20画像分類データセット間の精度とパラメータ効率のトレードオフを最良とする。
• 参考スコア（独自算出の注目度）: 45.3460867776953
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In computer vision, it has achieved great transfer learning performance via adapting large-scale pretrained vision models (e.g., vision transformers) to downstream tasks. Common approaches for model adaptation either update all model parameters or leverage linear probes. In this paper, we aim to study parameter-efficient model adaptation strategies for vision transformers on the image classification task. We formulate efficient model adaptation as a subspace training problem and perform a comprehensive benchmarking over different efficient adaptation methods. We conduct an empirical study on each efficient model adaptation method focusing on its performance alongside parameter cost. Furthermore, we propose a parameter-efficient model adaptation framework, which first selects submodules by measuring local intrinsic dimensions and then projects them into subspace for further decomposition via a novel Kronecker Adaptation (KAdaptation) method. We analyze and compare our method with a diverse set of baseline model adaptation methods (including state-of-the-art methods for pretrained language models). Our method performs the best in terms of the tradeoff between accuracy and parameter efficiency across 20 image classification datasets under the few-shot setting and 7 image classification datasets under the full-shot setting.
• Abstract（参考訳）: コンピュータビジョンでは、大規模な事前学習された視覚モデル(例えば、ビジョントランスフォーマー)を下流タスクに適応させることで、大きな伝達学習性能を達成した。 モデル適応のための一般的なアプローチは、全てのモデルパラメータを更新するか、線形プローブを利用する。 本稿では,画像分類タスクにおける視覚変換器のパラメータ効率を考慮したモデル適応手法を提案する。 我々は,サブスペース学習問題として効率的なモデル適応を定式化し,異なる効率的な適応法に対して包括的なベンチマークを行う。 パラメータコストと並行して,各効率的なモデル適応法について実証研究を行う。 さらに,局所的な内在次元を計測して部分加群を選択し,それを部分空間に投影し,新たなクロネッカー適応(kadaptation)法によりさらに分解するパラメータ効率の高いモデル適応フレームワークを提案する。 本手法を様々なベースラインモデル適応法(事前学習した言語モデルのための最先端手法を含む)と比較した。 本手法は,20個の画像分類データセットと7つの画像分類データセットを全ショット設定で比較し,精度とパラメータ効率のトレードオフを最善に評価する。

関連論文リスト

• Efficient Source-Free Time-Series Adaptation via Parameter Subspace Disentanglement [0.7558576228782637]
  我々は、効率的なソースフリードメイン適応(SFDA)のためのフレームワークを提案する。 提案手法は,ソースモデル作成およびターゲット側適応のための改良されたパラダイムを導入する。 我々は,本フレームワークが様々なSFDA法と互換性があり,計算効率が高いことを実証した。
  論文  参考訳（メタデータ） (2024-10-03T02:12:03Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• Prompt-Guided Adaptive Model Transformation for Whole Slide Image Classification [27.21493446754789]
  スライド画像全体(WSI)を分類する一般的な方法として,Multiple Case Learning (MIL)が登場した。 本稿では,事前学習したモデルを病理組織学データの特定の特性にシームレスに適応するPrompt-Guided Adaptive Model Transformationフレームワークを提案する。 我々は,Camelyon16とTCGA-NSCLCの2つのデータセットに対するアプローチを厳格に評価し,様々なMILモデルに対して大幅な改善を行った。
  論文  参考訳（メタデータ） (2024-03-19T08:23:12Z)
• Efficient Adapter Tuning of Pre-trained Speech Models for Automatic Speaker Verification [38.20393847192532]
  自己教師型音声モデルは、下流の様々な音声タスクにおいて印象的な性能を示した。 大量の計算とストレージオーバーヘッドのため、微調整は事実上不可能になる。 話者検証タスクに自己教師付き音声モデルを適用するための効果的なアダプタフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-01T05:32:14Z)
• Class Incremental Learning with Pre-trained Vision-Language Models [59.15538370859431]
  本稿では、事前学習された視覚言語モデル(例えば、CLIP)を利用して、さらなる適応を可能にするアプローチを提案する。 いくつかの従来のベンチマークの実験は、常に現在の最先端よりも顕著な改善のマージンを示している。
  論文  参考訳（メタデータ） (2023-10-31T10:45:03Z)
• Efficient Adaptation of Large Vision Transformer via Adapter Re-Composing [8.88477151877883]
  高容量事前学習モデルはコンピュータビジョンにおける問題解決に革命をもたらした。 本稿では,効率的な事前学習モデル適応に対処する新しい適応型再コンパイル(ARC)戦略を提案する。 提案手法は適応パラメータの再利用可能性について考察し,パラメータ共有方式を提案する。
  論文  参考訳（メタデータ） (2023-10-10T01:04:15Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
  下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。 近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。 我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。