論文の概要: AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2301.12132v1
• Date: Sat, 28 Jan 2023 08:51:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 18:56:16.120390
• Title: AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning
• Title（参考訳）: AutoPEFT:パラメータ効率の良いファインチューニングのための自動構成検索
• Authors: Han Zhou, Xingchen Wan, Ivan Vuli\'c, Anna Korhonen
• Abstract要約: PEFT構成の選択に関して、タスクごとの設計に情報を与えるのは簡単ではない。 この構成空間を横断する新しいフレームワークであるAutoPEFTを提案する。 本稿では,AutoPEFT-Fund構成のリソース拡張性とタスク転送性について述べる。
• 参考スコア（独自算出の注目度）: 70.24316952208153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large pretrained language models have been widely used in downstream NLP tasks via task-specific fine-tuning. Recently, an array of Parameter-Efficient Fine-Tuning (PEFT) methods have also achieved strong task performance while updating a much smaller number of parameters compared to full model tuning. However, it is non-trivial to make informed per-task design choices (i.e., to create PEFT configurations) concerning the selection of PEFT architectures and modules, the number of tunable parameters, and even the layers in which the PEFT modules are inserted. Consequently, it is highly likely that the current, manually set PEFT configurations might be suboptimal for many tasks from the perspective of the performance-to-efficiency trade-off. To address the core question of the PEFT configuration selection that aims to control and maximise the balance between performance and parameter efficiency, we first define a rich configuration search space spanning multiple representative PEFT modules along with finer-grained configuration decisions over the modules (e.g., parameter budget, insertion layer). We then propose AutoPEFT, a novel framework to traverse this configuration space: it automatically configures multiple PEFT modules via high-dimensional Bayesian optimisation. We show the resource scalability and task transferability of AutoPEFT-found configurations, outperforming existing PEFT methods on average on the standard GLUE benchmark while conducting the configuration search on a single task. The per-task AutoPEFT-based configuration search even outperforms full-model fine-tuning.
• Abstract（参考訳）: 大規模な事前学習言語モデルは、タスク固有の微調整によって下流のNLPタスクで広く使われている。 近年,パラメータ効率の良いファインチューニング(PEFT)手法の配列も,完全なモデルチューニングに比べてはるかに少ないパラメータを更新しながら,高いタスク性能を実現している。 しかし、PEFTアーキテクチャとモジュールの選択、調整可能なパラメータの数、そしてPEFTモジュールが挿入される層について、タスク毎の設計選択(つまりPEFT構成を作成する)を行うのは簡単ではない。 その結果,現在手動で設定されているPEFT構成は,性能と効率のトレードオフの観点から,多くのタスクに最適である可能性が極めて高い。 性能とパラメータ効率のバランスを最大化することを目的としたPEFT構成選択の中核的な問題に対処するために、まず、複数の代表PEFTモジュールにまたがるリッチな構成探索空間と、モジュール上のよりきめ細かい構成決定(パラメータ予算、挿入層など)を定義する。 次に、この構成空間を横断する新しいフレームワークであるAutoPEFTを提案し、高次元ベイズ最適化により複数のPEFTモジュールを自動的に構成する。 本稿では,AutoPEFT-Fund設定のリソースのスケーラビリティとタスク転送性を示し,既存のPEFT手法を標準GLUEベンチマークで平均的に上回り,単一のタスクで構成探索を行う。 タスクごとのAutoPEFTベースの設定検索は、フルモデルの微調整よりも優れています。

関連論文リスト

• BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models [63.52035708182815]
  自動PEFT(BIPEFT)のための新しいBudget-Guided Iterative Search戦略を提案する。 BIPEFTはバイナリモジュールとランク次元検索空間をアンタングルするために,新たな反復探索方式を採用している。 公開ベンチマークの大規模な実験は、パラメータ予算の低い下流タスクにおいて、BIPEFTの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-04T18:50:46Z)
• Light-PEFT: Lightening Parameter-Efficient Fine-Tuning via Early Pruning [17.032155725171958]
  本稿では,基礎モデルの仮設初期計画とPEFTの多官能初期計画の2つの手法を含むLight-PEFTフレームワークを提案する。 PEFT法を直接利用するのに対し、Light-PEFTはトレーニングと推論の高速化を実現し、メモリ使用量を削減し、同等のパフォーマンスを維持する。
  論文  参考訳（メタデータ） (2024-06-06T07:03:29Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• Context-PEFT: Efficient Multi-Modal, Multi-Task Fine-Tuning [12.648711621637663]
  この論文は小説を紹介します。 COCO-Efficient Fine-Tuning (PEFT) framework for multi-modal, multi-task transfer learning with pre-trained language model。 トークンのドメインに基づいて異なる適応パラメータ群を学習するContext-PEFTを提案する。 提案手法はキャプションタスクで評価され、類似したデータ制約下での完全な微調整よりも優れる。
  論文  参考訳（メタデータ） (2023-12-14T13:00:24Z)
• ComPEFT: Compression for Communicating Parameter Efficient Updates via Sparsification and Quantization [100.90624220423634]
  PEFTモデルにおける微調整残差(タスクベクトル)を圧縮する新しい手法であるComPEFTを提案する。 200M - 65Bパラメータを持つT5, T0, LLaMA ベースのモデルにおいて, ComPEFT は圧縮比 8x - 50x を達成する。
  論文  参考訳（メタデータ） (2023-11-22T05:28:59Z)
• Non-Intrusive Adaptation: Input-Centric Parameter-efficient Fine-Tuning for Versatile Multimodal Modeling [42.42235704360381]
  大規模言語モデル(LLM)と視覚言語モデル(VLM)は、幅広いタスクにおいて優れた性能を示す。 これらの大規模化により、関心のあるタスクを前提とした、完全に専門的なモデルへの適応と展開が不可能になる。 本研究では,AdaLinkを,競合性能を実現する非侵入型PEFT技術として記述する。
  論文  参考訳（メタデータ） (2023-10-18T16:43:08Z)
• DePT: Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning [14.975436239088312]
  ソフトプロンプトを短いソフトプロンプトと2つの異なる学習率で最適化された低ランク行列に分解するDePTを提案する。 DePTは、いくつかのシナリオにおいて、完全な微調整ベースラインを含む最先端のPEFTアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-11T00:02:05Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。