論文の概要: PEFT-Ref: A Modular Reference Architecture and Typology for
Parameter-Efficient Finetuning Techniques
- arxiv url: http://arxiv.org/abs/2304.12410v1
- Date: Mon, 24 Apr 2023 19:43:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-26 22:55:35.286394
- Title: PEFT-Ref: A Modular Reference Architecture and Typology for
Parameter-Efficient Finetuning Techniques
- Title（参考訳）: PEFT-Ref:パラメータ効率の良いファインタニングのためのモジュール参照アーキテクチャとタイポロジー
- Authors: Mohammed Sabry, Anya Belz
- Abstract要約: パラメータ効率ファインタニング(PEFT)技術は、大規模事前学習言語モデル(PLM)を完全に微調整するかなりのコストに対して改善することを目的としている。
異なるPEFT技術が普及するにつれて, (i) PLMに付加する構造と機能, (ii) 達成した異なるタイプと効率の程度, (iii) 下流タスクのパフォーマンス, (iv) 構造と機能の違いが効率とタスクパフォーマンスに与える影響について比較することは困難になっている。
本稿では,異なるPEFT技術で共有されるアスペクトを標準化する参照フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.190365714903665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent parameter-efficient finetuning (PEFT) techniques aim to improve over
the considerable cost of fully finetuning large pretrained language models
(PLM). As different PEFT techniques proliferate, it is becoming difficult to
compare them, in particular in terms of (i) the structure and functionality
they add to the PLM, (ii) the different types and degrees of efficiency
improvements achieved, (iii) performance at different downstream tasks, and
(iv) how differences in structure and functionality relate to efficiency and
task performance. To facilitate such comparisons, this paper presents a
reference framework which standardises aspects shared by different PEFT
techniques, while isolating differences to specific locations and interactions
with the standard components. Through this process of standardising and
isolating differences, a modular view of PEFT techniques emerges, supporting
not only direct comparison of different techniques and their efficiency and
task performance, but also systematic exploration of reusability and
composability of the different types of finetuned modules. We demonstrate how
the reference framework can be applied to understand properties and relative
advantages of PEFT techniques, hence to inform selection of techniques for
specific tasks, and design choices for new PEFT techniques.
- Abstract（参考訳）: 近年のPEFT技術は, 大規模事前学習言語モデル(PLM)の完全微調整に要するかなりのコストに対して, 改良を図っている。
異なるPEFT技術が普及するにつれて、特にその比較が困難になっている。
i) PLMに付加される構造と機能
(二 異なる種類及び効率改善の度合い
(iii)異なる下流課題における性能、及び
(4) 構造と機能の違いが効率とタスクパフォーマンスにどのように関係しているか。
このような比較を容易にするため,本論文では,異なるpeft技術で共有されるアスペクトを標準化するとともに,特定の場所や標準コンポーネントとのインタラクションの違いを分離した参照フレームワークを提案する。
違いを標準化し、分離するプロセスを通じて、PEFT技法のモジュラビューが登場し、異なる技術とそれらの効率とタスク性能を直接比較するだけでなく、異なる種類の微調整モジュールの再利用性と構成性について体系的に調査する。
我々は,peft技術の性質と相対的利点を理解するためにリファレンスフレームワークをどのように適用できるかを実証し,特定のタスクに対する技術の選択と新しいpeft技術の設計選択を知らせる。
関連論文リスト
- Layer-wise Importance Matters: Less Memory for Better Performance in Parameter-efficient Fine-tuning of Large Language Models [19.163639128631534]
Importance-Aware Sparse Tuning (IST) は、様々なPEFTメソッドと互換性があり、層ごとに動作する。
ISTはPEFTモジュールで選択したレイヤを動的に更新し、メモリ要求を減らした。
論文 参考訳（メタデータ） (2024-10-15T16:53:26Z) - See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。
分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。
本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
論文 参考訳（メタデータ） (2024-07-07T15:44:42Z) - Assessing the Portability of Parameter Matrices Trained by
Parameter-Efficient Finetuning Methods [6.653947064461629]
タスク固有の知識をあるモデルから別のモデルにエンコードする機能モジュール全体を移植する。
我々は,パラメータ効率の微調整(PEFT)技術で訓練されたモジュールの可搬性をテストするために,1,440のトレーニング/テストランからなる研究を設計した。
移植したモジュールは2つの代替品よりはるかに優れているが,4つのPEFT技術の間には興味深い性能差がある。
論文 参考訳（メタデータ） (2024-01-25T15:11:07Z) - PEFT for Speech: Unveiling Optimal Placement, Merging Strategies, and
Ensemble Techniques [43.5740738430004]
微分可能なアーキテクチャサーチ(DARTS)を用いた異なるPEFT法とそれらの層配置の比較を行った。
アンサンブル学習アプローチ、特に多数決を採用するアプローチは、優れたパフォーマンスを示している。
この変化は、アンサンブル学習による様々なPEFTメソッドの相乗的統合が、独自の学習能力をより効果的に活用できる理由を説明できるかもしれない。
論文 参考訳（メタデータ） (2024-01-04T08:11:33Z) - ComPEFT: Compression for Communicating Parameter Efficient Updates via
Sparsification and Quantization [100.90624220423634]
PEFTモデルにおける微調整残差(タスクベクトル)を圧縮する新しい手法であるComPEFTを提案する。
200M - 65Bパラメータを持つT5, T0, LLaMA ベースのモデルにおいて, ComPEFT は圧縮比 8x - 50x を達成する。
論文 参考訳（メタデータ） (2023-11-22T05:28:59Z) - Empirical Analysis of the Strengths and Weaknesses of PEFT Techniques
for LLMs [1.867982979635437]
各種PEFT手法のベンチマークを行い、異なるデータスケールでモデル性能を評価する。
一般的な信念とは対照的に、PEFT手法は低データシナリオにおいて完全なチューニングよりも遅く収束することを実証的に証明する。
さらに,モデルのどの部分を訓練するかを選択的に選択することで,これらのPEFT手法をさらに最適化する。
論文 参考訳（メタデータ） (2023-04-28T17:39:49Z) - Rethinking Efficient Tuning Methods from a Unified Perspective [34.67645496324432]
我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。
U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
論文 参考訳（メタデータ） (2023-03-01T17:38:03Z) - AutoPEFT: Automatic Configuration Search for Parameter-Efficient
Fine-Tuning [77.61565726647784]
ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。
本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
論文 参考訳（メタデータ） (2023-01-28T08:51:23Z) - Towards a Unified View on Visual Parameter-Efficient Transfer Learning [96.99924127527002]
本稿では,視覚PETL(visual-PETL)と呼ばれる統一的な視点を持つフレームワークを提案し,トレードオフに影響を与えるさまざまな側面について検討する。
提案したV-PETLフレームワークから派生したSwin-BAPATは、最先端のAdaptFormer-Swinよりも大幅に性能が向上する。
論文 参考訳（メタデータ） (2022-10-03T09:54:39Z) - UniPELT: A Unified Framework for Parameter-Efficient Language Model
Tuning [64.638804236566]
本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。
注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
論文 参考訳（メタデータ） (2021-10-14T17:40:08Z) - Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。
近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。
我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-08T20:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。