論文の概要: Parameter-Efficient Fine-Tuning in Large Models: A Survey of Methodologies
- arxiv url: http://arxiv.org/abs/2410.19878v2
- Date: Fri, 01 Nov 2024 03:26:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-04 14:33:39.858733
- Title: Parameter-Efficient Fine-Tuning in Large Models: A Survey of Methodologies
- Title（参考訳）: 大規模モデルにおけるパラメータ効率の良いファインチューニング:方法論の調査
- Authors: Luping Wang, Sheng Chen, Linnan Jiang, Shu Pan, Runze Cai, Sen Yang, Fei Yang,
- Abstract要約: 大規模なモデルでは、運用には相当な計算資源とGPUメモリが必要である。
PEFT (Efficient Fine-Tuning) は、様々な下流タスクに適合する大規模な事前学習モデルのパラメータを効率的に調整することで、実用的なソリューションを提供する。
本稿では,PEFTの予備知識,各種PEFTアルゴリズムの基本的な考え方と原理,PEFTの適用,今後の研究方向性について紹介する。
- 参考スコア（独自算出の注目度）: 17.904502959675337
- License:
- Abstract: The large models, as predicted by scaling raw forecasts, have made groundbreaking progress in many fields, particularly in natural language generation tasks, where they have approached or even surpassed human levels. However, the unprecedented scale of their parameters brings significant computational and storage costs. These large models require substantial computational resources and GPU memory to operate. When adapting large models to specific downstream tasks, their massive parameter scale poses a significant challenge in fine-tuning on hardware platforms with limited computational power and GPU memory. To address this issue, Parameter-Efficient Fine-Tuning (PEFT) offers a practical solution by efficiently adjusting the parameters of large pre-trained models to suit various downstream tasks. Specifically, PEFT adjusts the parameters of pre-trained large models to adapt to specific tasks or domains, minimizing the introduction of additional parameters and the computational resources required. This review mainly introduces the preliminary knowledge of PEFT, the core ideas and principles of various PEFT algorithms, the applications of PEFT, and potential future research directions. By reading this review, we believe that interested parties can quickly grasp the PEFT methodology, thereby accelerating its development and innovation.
- Abstract（参考訳）: 大規模なモデルは、生の予測をスケールすることによって予測されるように、多くの分野で、特に人間のレベルに近づいたり、超えたりした自然言語生成タスクにおいて、画期的な進歩を遂げている。
しかし、前代未聞のパラメータのスケールは、計算とストレージのコストを大幅に上回っている。
これらの大きなモデルは、運用するには相当な計算資源とGPUメモリを必要とする。
特定のダウンストリームタスクに大規模なモデルを適用する場合、その膨大なパラメータスケールは、計算能力とGPUメモリに制限のあるハードウェアプラットフォームの微調整において、大きな課題となる。
この問題に対処するために、パラメータ効率の良いファインチューニング(PEFT)は、様々な下流タスクに適合する大規模な事前学習モデルのパラメータを効率的に調整することで、実用的なソリューションを提供する。
具体的には、PEFTは訓練済みの大規模モデルのパラメータを調整し、特定のタスクやドメインに適応し、追加のパラメータの導入と必要な計算リソースを最小限にする。
本稿では,PEFTの予備知識,各種PEFTアルゴリズムの基本的な考え方と原理,PEFTの適用,今後の研究方向性について紹介する。
このレビューを読むことで、利害関係者はPEFTの方法論を迅速に把握し、開発と革新を加速できると信じている。
関連論文リスト
- Step-by-Step Unmasking for Parameter-Efficient Fine-tuning of Large Language Models [18.877891285367216]
パラメータ効率細調整(PEFT)のクラスは、モデルのパラメータのごく一部だけを選択的に微調整することで、計算上の課題を軽減することを目的としている。
我々はパラメータの重要度を連続的に計算し,パラメータを動的にアンマスクする新しいPEFT法である$textID3$を紹介した。
解析的に、$textID3$は勾配更新数を2倍に減らし、計算効率が向上することを示した。
論文 参考訳（メタデータ） (2024-08-26T17:58:53Z) - Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。
実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。
Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
論文 参考訳（メタデータ） (2024-07-28T19:18:59Z) - ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。
特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
論文 参考訳（メタデータ） (2024-05-30T17:26:02Z) - Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications [0.7421845364041001]
ディープラーニングの台頭は、コンピュータビジョン、自然言語処理、医療画像などの分野で大きな進歩を遂げている。
すべてのパラメータの調整を含む従来の微調整手法は、高い計算量とメモリ要求のために課題に直面している。
本稿では,計算効率と性能のバランスをとるためにパラメータを選択的に更新するPEFT(Efficient Fine-Tuning)手法について検討する。
論文 参考訳（メタデータ） (2024-04-21T02:26:15Z) - Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey [18.00772798876708]
PEFT(Efficient Fine-Tuning)は、様々な下流タスクに対して大きなモデルを効率的に調整することで、実用的なソリューションを提供する。
PEFTは、訓練済みの大規模モデルのパラメータを特定のタスクやドメインに適応させるプロセスを指す。
本稿では,様々なPEFTアルゴリズムの総合的な研究を行い,その性能と計算オーバーヘッドについて検討する。
論文 参考訳（メタデータ） (2024-03-21T17:55:50Z) - Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models:
A Critical Review and Assessment [12.674032145667763]
本稿では,事前学習言語モデル(PLM)のためのPEFT(Efficient Fine-Tuning)手法の総合的,体系的なレビューを行う。
PEFTは、完全な微調整に匹敵する性能を保ちながら、微調整パラメータとメモリ使用量を削減し、効果的なソリューションを提供する。
パラメータ効率とメモリ効率の効率性をよりよく理解するために,いくつかの代表的PEFT法を用いて実験を行った。
論文 参考訳（メタデータ） (2023-12-19T13:31:24Z) - Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared
Pre-trained Language Models [109.06052781040916]
本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。
また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。
その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
論文 参考訳（メタデータ） (2023-10-19T15:13:58Z) - Point-PEFT: Parameter-Efficient Fine-Tuning for 3D Pre-trained Models [46.42092771753465]
我々は、最小限の学習可能なパラメータを持つポイントクラウド事前学習モデルに適用するための新しいフレームワークであるPoint-PEFTを紹介する。
具体的には、事前訓練された3Dモデルに対して、パラメータの大部分を凍結し、新たに追加されたPEFTモジュールを下流タスクでチューニングする。
論文 参考訳（メタデータ） (2023-10-04T16:49:36Z) - Scaling Pre-trained Language Models to Deeper via Parameter-efficient
Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。
MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。
私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文 参考訳（メタデータ） (2023-03-27T02:34:09Z) - Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
私たちはaを提案します。
Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。
多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
論文 参考訳（メタデータ） (2022-05-23T02:43:45Z) - MoEfication: Conditional Computation of Transformer Models for Efficient
Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。
スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。
そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文 参考訳（メタデータ） (2021-10-05T02:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。