論文の概要: Parameter-efficient Fine-tuning for Vision Transformers

• arxiv url: http://arxiv.org/abs/2203.16329v1
• Date: Tue, 29 Mar 2022 05:30:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-01 07:56:24.197566
• Title: Parameter-efficient Fine-tuning for Vision Transformers
• Title（参考訳）: 視覚トランスフォーマのパラメータ効率の良い微調整
• Authors: Xuehai He, Chunyuan Li, Pengchuan Zhang, Jianwei Yang, Xin Eric Wang
• Abstract要約: 視覚タスクにおける視覚変換器のパラメータ効率の良い微調整方略について検討する。 本稿では,局所固有次元を測定することで,まずサブモジュールを選択するパラメータ効率のよい微調整フレームワークを提案する。 提案手法は,3つの画像分類データセットの精度とパラメータ効率のトレードオフを最良とする。
• 参考スコア（独自算出の注目度）: 45.3460867776953
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In computer vision, it has achieved great success in adapting large-scale pretrained vision models (e.g., Vision Transformer) to downstream tasks via fine-tuning. Common approaches for fine-tuning either update all model parameters or leverage linear probes. In this paper, we aim to study parameter-efficient fine-tuning strategies for Vision Transformers on vision tasks. We formulate efficient fine-tuning as a subspace training problem and perform a comprehensive benchmarking over different efficient fine-tuning methods. We conduct an empirical study on each efficient fine-tuning method focusing on its performance alongside parameter cost. Furthermore, we also propose a parameter-efficient fine-tuning framework, which first selects submodules by measuring local intrinsic dimensions and then projects them into subspace for further decomposition via a novel Kronecker Adaptation method. We analyze and compare our method with a diverse set of baseline fine-tuning methods (including state-of-the-art methods for pretrained language models). Our method performs the best in terms of the tradeoff between accuracy and parameter efficiency across three commonly used image classification datasets.
• Abstract（参考訳）: コンピュータビジョンでは、大規模な事前訓練された視覚モデル(ビジョントランスフォーマーなど)を微調整で下流のタスクに適応させることに成功した。 微調整のための一般的なアプローチは、すべてのモデルパラメータを更新するか、線形プローブを利用する。 本稿では,視覚タスクにおける視覚変換器のパラメータ効率向上のための微調整戦略について検討する。 サブスペーストレーニング問題として効率的な微調整を定式化し、異なる効率の微調整方法に対して総合的なベンチマークを行う。 本研究は, パラメータコストと並行して, 効率の良い微調整法について実験的に検討する。 さらに,パラメータ効率のよい微調整フレームワークを提案する。このフレームワークは,まず局所固有次元を測定して部分加群を選択し,次に新しいKronecker Adaptation法による部分空間に投影する。 本手法を様々なベースライン微調整法(事前学習した言語モデルのための最先端法を含む)と比較した。 本手法は,3つの画像分類データセットにおいて,精度とパラメータ効率のトレードオフの観点から最良である。

関連論文リスト

• Efficient Source-Free Time-Series Adaptation via Parameter Subspace Disentanglement [0.7558576228782637]
  我々は、効率的なソースフリードメイン適応(SFDA)のためのフレームワークを提案する。 提案手法は,ソースモデル作成およびターゲット側適応のための改良されたパラダイムを導入する。 我々は,本フレームワークが様々なSFDA法と互換性があり,計算効率が高いことを実証した。
  論文  参考訳（メタデータ） (2024-10-03T02:12:03Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• Prompt-Guided Adaptive Model Transformation for Whole Slide Image Classification [27.21493446754789]
  スライド画像全体(WSI)を分類する一般的な方法として,Multiple Case Learning (MIL)が登場した。 本稿では,事前学習したモデルを病理組織学データの特定の特性にシームレスに適応するPrompt-Guided Adaptive Model Transformationフレームワークを提案する。 我々は,Camelyon16とTCGA-NSCLCの2つのデータセットに対するアプローチを厳格に評価し,様々なMILモデルに対して大幅な改善を行った。
  論文  参考訳（メタデータ） (2024-03-19T08:23:12Z)
• Efficient Adapter Tuning of Pre-trained Speech Models for Automatic Speaker Verification [38.20393847192532]
  自己教師型音声モデルは、下流の様々な音声タスクにおいて印象的な性能を示した。 大量の計算とストレージオーバーヘッドのため、微調整は事実上不可能になる。 話者検証タスクに自己教師付き音声モデルを適用するための効果的なアダプタフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-01T05:32:14Z)
• Class Incremental Learning with Pre-trained Vision-Language Models [59.15538370859431]
  本稿では、事前学習された視覚言語モデル(例えば、CLIP)を利用して、さらなる適応を可能にするアプローチを提案する。 いくつかの従来のベンチマークの実験は、常に現在の最先端よりも顕著な改善のマージンを示している。
  論文  参考訳（メタデータ） (2023-10-31T10:45:03Z)
• Efficient Adaptation of Large Vision Transformer via Adapter Re-Composing [8.88477151877883]
  高容量事前学習モデルはコンピュータビジョンにおける問題解決に革命をもたらした。 本稿では,効率的な事前学習モデル適応に対処する新しい適応型再コンパイル(ARC)戦略を提案する。 提案手法は適応パラメータの再利用可能性について考察し,パラメータ共有方式を提案する。
  論文  参考訳（メタデータ） (2023-10-10T01:04:15Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
  下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。 近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。 我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。