論文の概要: Rethinking Efficient Tuning Methods from a Unified Perspective

• arxiv url: http://arxiv.org/abs/2303.00690v1
• Date: Wed, 1 Mar 2023 17:38:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-02 13:52:33.437528
• Title: Rethinking Efficient Tuning Methods from a Unified Perspective
• Title（参考訳）: 統一の視点からの効率的なチューニング手法の再考
• Authors: Zeyinzi Jiang, Chaojie Mao, Ziyuan Huang, Yiliang Lv, Deli Zhao, Jingren Zhou
• Abstract要約: 我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。 U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
• 参考スコア（独自算出の注目度）: 34.67645496324432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient transfer learning (PETL) based on large-scale pre-trained foundation models has achieved great success in various downstream applications. Existing tuning methods, such as prompt, prefix, and adapter, perform task-specific lightweight adjustments to different parts of the original architecture. However, they take effect on only some parts of the pre-trained models, i.e., only the feed-forward layers or the self-attention layers, which leaves the remaining frozen structures unable to adapt to the data distributions of downstream tasks. Further, the existing structures are strongly coupled with the Transformers, hindering parameter-efficient deployment as well as the design flexibility for new approaches. In this paper, we revisit the design paradigm of PETL and derive a unified framework U-Tuning for parameter-efficient transfer learning, which is composed of an operation with frozen parameters and a unified tuner that adapts the operation for downstream applications. The U-Tuning framework can simultaneously encompass existing methods and derive new approaches for parameter-efficient transfer learning, which prove to achieve on-par or better performances on CIFAR-100 and FGVC datasets when compared with existing PETL methods.
• Abstract（参考訳）: 大規模事前学習基礎モデルに基づくパラメータ効率変換学習(PETL)は,下流の様々な応用において大きな成功を収めている。 プロンプト、プレフィックス、アダプタといった既存のチューニング手法は、オリジナルのアーキテクチャの異なる部分にタスク固有の軽量な調整を行う。 しかし、これらは事前訓練されたモデルの一部の部分、すなわちフィードフォワード層またはセルフアテンション層にのみ影響を受け、残りの凍結された構造は下流タスクのデータ分布に適応できない。 さらに、既存の構造はTransformerと強く結びついており、パラメータ効率のデプロイメントや新しいアプローチの設計の柔軟性を妨げる。 本稿では,petlの設計パラダイムを再検討し,凍ったパラメータを持つ演算と下流アプリケーションに適した統一チューナからなるパラメータ効率の高い転送学習のための統一フレームワーク u-tuning を導出する。 U-Tuningフレームワークは、既存のメソッドを同時に包含し、パラメータ効率のトランスファーラーニングのための新しいアプローチを導き、既存のPETL手法と比較して、CIFAR-100およびFGVCデータセットのオンパーまたはより良いパフォーマンスを実現する。

関連論文リスト

• RECAST: Reparameterized, Compact weight Adaptation for Sequential Tasks [16.512587987753967]
  RECASTはタスク固有のトレーニング可能なパラメータを50未満に劇的に削減する新しい手法である。 本稿では,RECASTが様々なスケール,アーキテクチャ,パラメータ空間において,最先端の技術を最大3%向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-25T19:08:38Z)
• Sparse Orthogonal Parameters Tuning for Continual Learning [34.462967722928724]
  事前学習モデル(PTM)に基づく連続学習手法が近年注目されている。 本稿では,SoTU(Sparse Orthogonal Parameters TUning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T05:19:09Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models [90.24999406296867]
  標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。 近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2022-03-14T07:56:32Z)
• Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
  下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。 近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。 我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。