Fugu-MT 論文翻訳(概要): Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models: A Critical Review and Assessment

論文の概要: Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models: A Critical Review and Assessment

arxiv url: http://arxiv.org/abs/2312.12148v1
Date: Tue, 19 Dec 2023 13:31:24 GMT
ステータス: 処理完了
システム内更新日: 2023-12-20 15:25:55.188148
Title: Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models: A Critical Review and Assessment
Title（参考訳）: 事前学習言語モデルのためのパラメータ効率の良い微調整法:批判的レビューと評価
Authors: Lingling Xu, Haoran Xie, Si-Zhao Joe Qin, Xiaohui Tao, Fu Lee Wang
Abstract要約: 本稿では,事前学習言語モデル(PLM)のためのPEFT(Efficient Fine-Tuning)手法の総合的,体系的なレビューを行う。 PEFTは、完全な微調整に匹敵する性能を保ちながら、微調整パラメータとメモリ使用量を削減し、効果的なソリューションを提供する。パラメータ効率とメモリ効率の効率性をよりよく理解するために,いくつかの代表的PEFT法を用いて実験を行った。
参考スコア（独自算出の注目度）: 12.674032145667763
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: With the continuous growth in the number of parameters of transformer-based pretrained language models (PLMs), particularly the emergence of large language models (LLMs) with billions of parameters, many natural language processing (NLP) tasks have demonstrated remarkable success. However, the enormous size and computational demands of these models pose significant challenges for adapting them to specific downstream tasks, especially in environments with limited computational resources. Parameter Efficient Fine-Tuning (PEFT) offers an effective solution by reducing the number of fine-tuning parameters and memory usage while achieving comparable performance to full fine-tuning. The demands for fine-tuning PLMs, especially LLMs, have led to a surge in the development of PEFT methods, as depicted in Fig. 1. In this paper, we present a comprehensive and systematic review of PEFT methods for PLMs. We summarize these PEFT methods, discuss their applications, and outline future directions. Furthermore, we conduct experiments using several representative PEFT methods to better understand their effectiveness in parameter efficiency and memory efficiency. By offering insights into the latest advancements and practical applications, this survey serves as an invaluable resource for researchers and practitioners seeking to navigate the challenges and opportunities presented by PEFT in the context of PLMs.
Abstract（参考訳）: トランスフォーマーベース事前訓練言語モデル(PLM)のパラメータの連続的な増加、特に数十億のパラメータを持つ大規模言語モデル(LLM)の出現により、多くの自然言語処理(NLP)タスクが顕著に成功している。しかし、これらのモデルの膨大なサイズと計算要求は、特に限られた計算資源を持つ環境において、特定の下流タスクに適応する上で大きな課題をもたらす。パラメータ効率の良いファインチューニング(PEFT)は、完全なファインチューニングに匹敵する性能を保ちながら、ファインチューニングパラメータとメモリ使用量を削減し、効果的なソリューションを提供する。微調整 PLM ,特に LLM の需要は,第1図に示すように,PEFT 法の発展に拍車を掛けている。本稿では,PEFT法を包括的かつ体系的に検討する。我々はこれらのPEFT手法を要約し、それらの応用について議論し、今後の方向性を概説する。さらに,パラメータ効率とメモリ効率をよりよく理解するために,いくつかの代表的PEFT法を用いて実験を行った。この調査は、最新の進歩と実践的応用に関する洞察を提供することによって、PEFTがPLMの文脈で提示した課題と機会をナビゲートしようとする研究者や実践者にとって、貴重な情報源となる。

関連論文リスト

Parameter-Efficient Fine-Tuning in Large Models: A Survey of Methodologies [17.904502959675337]
大規模なモデルでは、運用には相当な計算資源とGPUメモリが必要である。 PEFT (Efficient Fine-Tuning) は、様々な下流タスクに適合する大規模な事前学習モデルのパラメータを効率的に調整することで、実用的なソリューションを提供する。本稿では,PEFTの予備知識,各種PEFTアルゴリズムの基本的な考え方と原理,PEFTの適用,今後の研究方向性について紹介する。
論文参考訳（メタデータ） (2024-10-24T13:58:59Z)
See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
論文参考訳（メタデータ） (2024-07-07T15:44:42Z)
Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications [0.7421845364041001]
ディープラーニングの台頭は、コンピュータビジョン、自然言語処理、医療画像などの分野で大きな進歩を遂げている。すべてのパラメータの調整を含む従来の微調整手法は、高い計算量とメモリ要求のために課題に直面している。本稿では,計算効率と性能のバランスをとるためにパラメータを選択的に更新するPEFT(Efficient Fine-Tuning)手法について検討する。
論文参考訳（メタデータ） (2024-04-21T02:26:15Z)
Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey [18.00772798876708]
PEFT(Efficient Fine-Tuning)は、様々な下流タスクに対して大きなモデルを効率的に調整することで、実用的なソリューションを提供する。 PEFTは、訓練済みの大規模モデルのパラメータを特定のタスクやドメインに適応させるプロセスを指す。本稿では,様々なPEFTアルゴリズムの総合的な研究を行い,その性能と計算オーバーヘッドについて検討する。
論文参考訳（メタデータ） (2024-03-21T17:55:50Z)
Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
論文参考訳（メタデータ） (2023-10-24T07:58:20Z)
Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
論文参考訳（メタデータ） (2023-10-19T15:13:58Z)
Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [12.708117108874083]
大きな言語モデル(LLM)は、ゼロショットで自然言語の意図を与えられたコードスニペットを生成する。従来の研究は、タスク固有のプロンプト例でLLM生成プロセスを導く戦略として、インコンテキストラーニング(ICL)を探求していた。本稿では,本論文の総合的研究について述べる。自動コード生成シナリオにおけるLLMのためのPEFT技術。
論文参考訳（メタデータ） (2023-08-21T04:31:06Z)
PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
論文参考訳（メタデータ） (2023-05-30T08:41:33Z)
Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning [10.51168925267033]
本稿は,2019年前半から2024年半ばにかけて発行された50以上の論文を対象とした,パラメータ効率の高い微調整手法の体系的概要について述べる。幅広い手法を網羅し,詳細な方法比較を行う分類法を提案する。また,15種類のPEFT法を用いて,最大11Bパラメータのモデル上での性能と効率を評価する実験を行った。
論文参考訳（メタデータ） (2023-03-28T00:06:38Z)
Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文参考訳（メタデータ） (2022-06-04T10:08:50Z)
CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
論文参考訳（メタデータ） (2021-06-20T15:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。