Fugu-MT 論文翻訳(概要): Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning

論文の概要: Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning

arxiv url: http://arxiv.org/abs/2303.15647v1
Date: Tue, 28 Mar 2023 00:06:38 GMT
ステータス: 処理完了
システム内更新日: 2023-03-29 16:58:18.440653
Title: Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning
Title（参考訳）: スケールダウンからスケールアップ:パラメータ効率の良いファインチューニングのガイド
Authors: Vladislav Lialin, Vijeta Deshpande, Anna Rumshisky
Abstract要約: 本稿は,2019年2月から2023年2月までに発行された40以上の論文を対象としたパラメータ効率の高い微調整手法の体系的概要と比較について述べる。幅広い手法を網羅し、実生活効率と微調整マルチビリオンスケール言語モデルに特化して、詳細な手法の比較を行う。
参考スコア（独自算出の注目度）: 6.749962951930924
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents a systematic overview and comparison of parameter-efficient fine-tuning methods covering over 40 papers published between February 2019 and February 2023. These methods aim to resolve the infeasibility and impracticality of fine-tuning large language models by only training a small set of parameters. We provide a taxonomy that covers a broad range of methods and present a detailed method comparison with a specific focus on real-life efficiency and fine-tuning multibillion-scale language models.
Abstract（参考訳）: 本稿では,2019年2月から2023年2月までに発行された40以上の論文を対象としたパラメータ効率の良い微調整手法の概要と比較を行った。これらの手法は,少数のパラメータのみを訓練することで,微調整された大規模言語モデルの実用性と非現実性を解決することを目的としている。幅広い方法をカバーする分類法を提供し、実生活効率と微調整された数十億規模の言語モデルに特定の焦点をあてた詳細な比較方法を提案する。

関連論文リスト

LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
論文参考訳（メタデータ） (2024-10-05T06:59:50Z)
SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
論文参考訳（メタデータ） (2024-09-10T16:44:47Z)
SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文参考訳（メタデータ） (2024-08-19T17:32:15Z)
See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
論文参考訳（メタデータ） (2024-07-07T15:44:42Z)
Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications [0.7421845364041001]
ディープラーニングの台頭は、コンピュータビジョン、自然言語処理、医療画像などの分野で大きな進歩を遂げている。すべてのパラメータの調整を含む従来の微調整手法は、高い計算量とメモリ要求のために課題に直面している。本稿では,計算効率と性能のバランスをとるためにパラメータを選択的に更新するPEFT(Efficient Fine-Tuning)手法について検討する。
論文参考訳（メタデータ） (2024-04-21T02:26:15Z)
LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。 LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
論文参考訳（メタデータ） (2024-02-18T01:20:00Z)
Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models: A Critical Review and Assessment [12.674032145667763]
本稿では,事前学習言語モデル(PLM)のためのPEFT(Efficient Fine-Tuning)手法の総合的,体系的なレビューを行う。 PEFTは、完全な微調整に匹敵する性能を保ちながら、微調整パラメータとメモリ使用量を削減し、効果的なソリューションを提供する。パラメータ効率とメモリ効率の効率性をよりよく理解するために,いくつかの代表的PEFT法を用いて実験を行った。
論文参考訳（メタデータ） (2023-12-19T13:31:24Z)
Empirical Analysis of the Strengths and Weaknesses of PEFT Techniques for LLMs [1.867982979635437]
各種PEFT手法のベンチマークを行い、異なるデータスケールでモデル性能を評価する。一般的な信念とは対照的に、PEFT手法は低データシナリオにおいて完全なチューニングよりも遅く収束することを実証的に証明する。さらに,モデルのどの部分を訓練するかを選択的に選択することで,これらのPEFT手法をさらに最適化する。
論文参考訳（メタデータ） (2023-04-28T17:39:49Z)
On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
論文参考訳（メタデータ） (2022-11-28T17:41:48Z)
Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
論文参考訳（メタデータ） (2021-10-08T20:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。