論文の概要: Partial Fine-Tuning: A Successor to Full Fine-Tuning for Vision Transformers

• arxiv url: http://arxiv.org/abs/2312.15681v1
• Date: Mon, 25 Dec 2023 10:11:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 17:06:28.876290
• Title: Partial Fine-Tuning: A Successor to Full Fine-Tuning for Vision Transformers
• Title（参考訳）: 部分ファインチューニング:視覚変換器のフルファインチューニングの後継機
• Authors: Peng Ye, Yongqi Huang, Chongjun Tu, Minglei Li, Tao Chen, Tong He, Wanli Ouyang
• Abstract要約: 部分微調整は、効率と精度を同時に向上できる革新的で有望な方向であることを示す。 部分的な微調整のための適切な層の選択を導くための,新しい微調整角度測定法を提案する。 広範囲のデータセットとモデルに関する包括的な実験は、部分的な微調整の大きな可能性を検証する。
• 参考スコア（独自算出の注目度）: 50.23439411530435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning pre-trained foundation models has gained significant popularity in various research fields. Existing methods for fine-tuning can be roughly divided into two categories, namely Parameter-Efficient Fine-Tuning and High-Performance Fine-Tuning. The former aims at improving efficiency, while the latter focuses on enhancing performance. Beyond these methods, we demonstrate that Partial Fine-Tuning can be an innovative and promising direction capable of concurrently enhancing both efficiency and accuracy. We first validate eight manually-defined partial fine-tuning strategies across kinds of datasets and vision transformer architectures, and find that some partial fine-tuning strategies (e.g., ffn only or attention only) can achieve better performance with fewer tuned parameters than full fine-tuning, and selecting appropriate layers is critical to partial fine-tuning. Thus, we propose a novel fine-tuned angle metric to guide the selection of appropriate layers for partial fine-tuning, making it flexible to be adapted to various scenarios for more practicable partial fine-tuning. Additionally, we show that partial fine-tuning can serve as a new dimension for Model Soups, improving both the model performance and generalization with fewer tuned parameters. Comprehensive experiments on a wide range of datasets and models validate the great potential of partial fine-tuning.
• Abstract（参考訳）: 微調整された基礎モデルが様々な研究分野で大きな人気を集めている。 既存のファインチューニングの方法は、パラメータ効率の良いファインチューニングとハイパフォーマンスファインチューニングの2つのカテゴリに分けられる。 前者は効率の向上を目標とし、後者は性能向上に重点を置いている。 これらの方法の他に、部分微細チューニングは効率と精度を同時に向上できる革新的で有望な方向であることを示す。 まず,手作業で定義した8つの部分微調整戦略を,データセットや視覚トランスフォーマーのアーキテクチャで検証し,部分的微調整戦略(ffnのみや注意のみなど)のいくつかが,完全な微調整よりも少ないパラメータで優れた性能が得られること,適切なレイヤの選択が部分的微調整に不可欠であることを見いだした。 そこで本研究では,部分的微調整のための適切な層の選択を導くための新しい微調整角度測定法を提案する。 さらに,モデルスープの新しい次元として部分的微調整が機能し,パラメータの少ないモデル性能と一般化の両方を改善した。 幅広いデータセットとモデルに関する包括的な実験は、部分的な微調整の大きな可能性を検証する。

関連論文リスト

• Derivative-Free Optimization for Low-Rank Adaptation in Large Language Models [4.926283917321645]
  グラデーションの計算を最適化する微分自由最適化手法を提案する。 提案手法は, メモリ使用率と収束速度において, 従来の勾配に基づくパラメータ効率調整法や, 微分自由度最適化法に比べ, 大幅に向上し, 明らかな優位性を示す。
  論文  参考訳（メタデータ） (2024-03-04T06:20:31Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Visual Tuning [143.43997336384126]
  微調整ビジュアルモデルは、多くの下流視覚タスクにおいて有望なパフォーマンスを示すことが広く示されている。 最近の進歩は、事前訓練されたパラメータ全体をフルチューニングするよりも優れたパフォーマンスを達成することができる。 この調査は、最近の作品の大規模かつ思慮深い選択を特徴付け、作業とモデルの体系的かつ包括的な概要を提供する。
  論文  参考訳（メタデータ） (2023-05-10T11:26:36Z)
• Rethinking Efficient Tuning Methods from a Unified Perspective [34.67645496324432]
  我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。 U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
  論文  参考訳（メタデータ） (2023-03-01T17:38:03Z)
• Prototypical Fine-tuning: Towards Robust Performance Under Varying Data Sizes [47.880781811936345]
  我々は、微調整事前学習言語モデル(LM)のための新しいフレームワークを提案する。 提案手法は,データポイント数やモデル固有の属性に応じて,モデルキャパシティを自動的に調整することができる。
  論文  参考訳（メタデータ） (2022-11-24T14:38:08Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• Visual Prompt Tuning [74.5309408185523]
  本稿では,視覚における大規模トランスフォーマーモデルの完全微調整の代替として,視覚プロンプトチューニング(VPT)を提案する。 VPTは、モデルのバックボーンを凍結させながら、入力空間でトレーニング可能なパラメータの少量(モデルパラメータの1%未満)しか導入しない。
  論文  参考訳（メタデータ） (2022-03-23T01:17:16Z)
• Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models [90.24999406296867]
  標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。 近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2022-03-14T07:56:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。