論文の概要: Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning
- arxiv url: http://arxiv.org/abs/2303.15647v2
- Date: Fri, 22 Nov 2024 05:02:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-25 15:01:36.216037
- Title: Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning
- Title（参考訳）: スケールダウンからスケールアップ:パラメータ効率の良いファインチューニングのガイド
- Authors: Vladislav Lialin, Vijeta Deshpande, Xiaowei Yao, Anna Rumshisky,
- Abstract要約: 本稿は,2019年前半から2024年半ばにかけて発行された50以上の論文を対象とした,パラメータ効率の高い微調整手法の体系的概要について述べる。
幅広い手法を網羅し,詳細な方法比較を行う分類法を提案する。
また,15種類のPEFT法を用いて,最大11Bパラメータのモデル上での性能と効率を評価する実験を行った。
- 参考スコア（独自算出の注目度）: 10.51168925267033
- License:
- Abstract: This paper presents a systematic overview of parameter-efficient fine-tuning methods, covering over 50 papers published between early 2019 and mid-2024. These methods aim to address the challenges of fine-tuning large language models by training only a small subset of parameters. We provide a taxonomy that covers a broad range of methods and present a detailed method comparison with a specific focus on real-life efficiency in fine-tuning multibillion-scale language models. We also conduct an extensive head-to-head experimental comparison of 15 diverse PEFT methods, evaluating their performance and efficiency on models up to 11B parameters. Our findings reveal that methods previously shown to surpass a strong LoRA baseline face difficulties in resource-constrained settings, where hyperparameter optimization is limited and the network is fine-tuned only for a few epochs. Finally, we provide a set of practical recommendations for using PEFT methods and outline potential future research directions.
- Abstract（参考訳）: 本稿は,2019年前半から2024年半ばにかけて発行された50以上の論文を対象とした,パラメータ効率の高い微調整手法の体系的概要について述べる。
これらの手法は,少数のパラメータのみを訓練することで,大規模言語モデルを微調整するという課題に対処することを目的としている。
多様な手法を網羅した分類法を提供し、微調整マルチビリオンスケール言語モデルにおける実生活の効率性に着目した詳細な手法の比較を行う。
また,15種類のPEFT法を用いて,最大11Bパラメータのモデル上での性能と効率を評価する実験を行った。
以上の結果から,ハイパーパラメータ最適化が制限され,ネットワークが極端に微調整される場合,リソース制約のある設定では,LoRAベースラインをはるかに上回っていることが明らかとなった。
最後に,PEFT法を用いるための実践的勧告と今後の研究方向性について概説する。
関連論文リスト
- LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。
モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。
提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。
本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。
本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
論文 参考訳（メタデータ） (2024-09-10T16:44:47Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。
分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。
本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
論文 参考訳（メタデータ） (2024-07-07T15:44:42Z) - Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications [0.7421845364041001]
ディープラーニングの台頭は、コンピュータビジョン、自然言語処理、医療画像などの分野で大きな進歩を遂げている。
すべてのパラメータの調整を含む従来の微調整手法は、高い計算量とメモリ要求のために課題に直面している。
本稿では,計算効率と性能のバランスをとるためにパラメータを選択的に更新するPEFT(Efficient Fine-Tuning)手法について検討する。
論文 参考訳（メタデータ） (2024-04-21T02:26:15Z) - LoRETTA: Low-Rank Economic Tensor-Train Adaptation for
Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。
テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。
LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
論文 参考訳（メタデータ） (2024-02-18T01:20:00Z) - Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models:
A Critical Review and Assessment [12.674032145667763]
本稿では,事前学習言語モデル(PLM)のためのPEFT(Efficient Fine-Tuning)手法の総合的,体系的なレビューを行う。
PEFTは、完全な微調整に匹敵する性能を保ちながら、微調整パラメータとメモリ使用量を削減し、効果的なソリューションを提供する。
パラメータ効率とメモリ効率の効率性をよりよく理解するために,いくつかの代表的PEFT法を用いて実験を行った。
論文 参考訳（メタデータ） (2023-12-19T13:31:24Z) - Empirical Analysis of the Strengths and Weaknesses of PEFT Techniques
for LLMs [1.867982979635437]
各種PEFT手法のベンチマークを行い、異なるデータスケールでモデル性能を評価する。
一般的な信念とは対照的に、PEFT手法は低データシナリオにおいて完全なチューニングよりも遅く収束することを実証的に証明する。
さらに,モデルのどの部分を訓練するかを選択的に選択することで,これらのPEFT手法をさらに最適化する。
論文 参考訳（メタデータ） (2023-04-28T17:39:49Z) - On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。
これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。
我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
論文 参考訳（メタデータ） (2022-11-28T17:41:48Z) - Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。
近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。
我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-08T20:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。