論文の概要: AutoPEFT: Automatic Configuration Search for Parameter-Efficient
Fine-Tuning
- arxiv url: http://arxiv.org/abs/2301.12132v1
- Date: Sat, 28 Jan 2023 08:51:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 18:56:16.120390
- Title: AutoPEFT: Automatic Configuration Search for Parameter-Efficient
Fine-Tuning
- Title(参考訳): AutoPEFT:パラメータ効率の良いファインチューニングのための自動構成検索
- Authors: Han Zhou, Xingchen Wan, Ivan Vuli\'c, Anna Korhonen
- Abstract要約: PEFT構成の選択に関して、タスクごとの設計に情報を与えるのは簡単ではない。
この構成空間を横断する新しいフレームワークであるAutoPEFTを提案する。
本稿では,AutoPEFT-Fund構成のリソース拡張性とタスク転送性について述べる。
- 参考スコア(独自算出の注目度): 70.24316952208153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large pretrained language models have been widely used in downstream NLP
tasks via task-specific fine-tuning. Recently, an array of Parameter-Efficient
Fine-Tuning (PEFT) methods have also achieved strong task performance while
updating a much smaller number of parameters compared to full model tuning.
However, it is non-trivial to make informed per-task design choices (i.e., to
create PEFT configurations) concerning the selection of PEFT architectures and
modules, the number of tunable parameters, and even the layers in which the
PEFT modules are inserted. Consequently, it is highly likely that the current,
manually set PEFT configurations might be suboptimal for many tasks from the
perspective of the performance-to-efficiency trade-off. To address the core
question of the PEFT configuration selection that aims to control and maximise
the balance between performance and parameter efficiency, we first define a
rich configuration search space spanning multiple representative PEFT modules
along with finer-grained configuration decisions over the modules (e.g.,
parameter budget, insertion layer). We then propose AutoPEFT, a novel framework
to traverse this configuration space: it automatically configures multiple PEFT
modules via high-dimensional Bayesian optimisation. We show the resource
scalability and task transferability of AutoPEFT-found configurations,
outperforming existing PEFT methods on average on the standard GLUE benchmark
while conducting the configuration search on a single task. The per-task
AutoPEFT-based configuration search even outperforms full-model fine-tuning.
- Abstract(参考訳): 大規模な事前学習言語モデルは、タスク固有の微調整によって下流のNLPタスクで広く使われている。
近年,パラメータ効率の良いファインチューニング(PEFT)手法の配列も,完全なモデルチューニングに比べてはるかに少ないパラメータを更新しながら,高いタスク性能を実現している。
しかし、PEFTアーキテクチャとモジュールの選択、調整可能なパラメータの数、そしてPEFTモジュールが挿入される層について、タスク毎の設計選択(つまりPEFT構成を作成する)を行うのは簡単ではない。
その結果,現在手動で設定されているPEFT構成は,性能と効率のトレードオフの観点から,多くのタスクに最適である可能性が極めて高い。
性能とパラメータ効率のバランスを最大化することを目的としたPEFT構成選択の中核的な問題に対処するために、まず、複数の代表PEFTモジュールにまたがるリッチな構成探索空間と、モジュール上のよりきめ細かい構成決定(パラメータ予算、挿入層など)を定義する。
次に、この構成空間を横断する新しいフレームワークであるAutoPEFTを提案し、高次元ベイズ最適化により複数のPEFTモジュールを自動的に構成する。
本稿では,AutoPEFT-Fund設定のリソースのスケーラビリティとタスク転送性を示し,既存のPEFT手法を標準GLUEベンチマークで平均的に上回り,単一のタスクで構成探索を行う。
タスクごとのAutoPEFTベースの設定検索は、フルモデルの微調整よりも優れています。
関連論文リスト
- LoRETTA: Low-Rank Economic Tensor-Train Adaptation for
Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。
テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。
LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
論文 参考訳(メタデータ) (2024-02-18T01:20:00Z) - Context-PEFT: Efficient Multi-Modal, Multi-Task Fine-Tuning [12.648711621637663]
この論文は小説を紹介します。
COCO-Efficient Fine-Tuning (PEFT) framework for multi-modal, multi-task transfer learning with pre-trained language model。
トークンのドメインに基づいて異なる適応パラメータ群を学習するContext-PEFTを提案する。
提案手法はキャプションタスクで評価され、類似したデータ制約下での完全な微調整よりも優れる。
論文 参考訳(メタデータ) (2023-12-14T13:00:24Z) - ComPEFT: Compression for Communicating Parameter Efficient Updates via
Sparsification and Quantization [100.90624220423634]
PEFTモデルにおける微調整残差(タスクベクトル)を圧縮する新しい手法であるComPEFTを提案する。
200M - 65Bパラメータを持つT5, T0, LLaMA ベースのモデルにおいて, ComPEFT は圧縮比 8x - 50x を達成する。
論文 参考訳(メタデータ) (2023-11-22T05:28:59Z) - Non-Intrusive Adaptation: Input-Centric Parameter-efficient Fine-Tuning
for Versatile Multimodal Modeling [42.42235704360381]
大規模言語モデル(LLM)と視覚言語モデル(VLM)は、幅広いタスクにおいて優れた性能を示す。
これらの大規模化により、関心のあるタスクを前提とした、完全に専門的なモデルへの適応と展開が不可能になる。
本研究では,AdaLinkを,競合性能を実現する非侵入型PEFT技術として記述する。
論文 参考訳(メタデータ) (2023-10-18T16:43:08Z) - DePT: Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning [14.975436239088312]
ソフトプロンプトを短いソフトプロンプトと2つの異なる学習率で最適化された低ランク行列に分解するDePTを提案する。
DePTは、いくつかのシナリオにおいて、完全な微調整ベースラインを含む最先端のPEFTアプローチよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-09-11T00:02:05Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳(メタデータ) (2023-03-25T14:40:59Z) - Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
私たちは新しいビジュアルを提案します。
Sensuous-Aware Fine-Tuning (SPT) スキーム。
SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。
ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
論文 参考訳(メタデータ) (2023-03-15T12:34:24Z) - Rethinking Efficient Tuning Methods from a Unified Perspective [34.67645496324432]
我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。
U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
論文 参考訳(メタデータ) (2023-03-01T17:38:03Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳(メタデータ) (2022-05-11T17:10:41Z) - UniPELT: A Unified Framework for Parameter-Efficient Language Model
Tuning [64.638804236566]
本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。
注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
論文 参考訳(メタデータ) (2021-10-14T17:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。