論文の概要: Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning
- arxiv url: http://arxiv.org/abs/2303.15647v1
- Date: Tue, 28 Mar 2023 00:06:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 16:58:18.440653
- Title: Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning
- Title(参考訳): スケールダウンからスケールアップ:パラメータ効率の良いファインチューニングのガイド
- Authors: Vladislav Lialin, Vijeta Deshpande, Anna Rumshisky
- Abstract要約: 本稿は,2019年2月から2023年2月までに発行された40以上の論文を対象としたパラメータ効率の高い微調整手法の体系的概要と比較について述べる。
幅広い手法を網羅し、実生活効率と微調整マルチビリオンスケール言語モデルに特化して、詳細な手法の比較を行う。
- 参考スコア(独自算出の注目度): 6.749962951930924
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a systematic overview and comparison of
parameter-efficient fine-tuning methods covering over 40 papers published
between February 2019 and February 2023. These methods aim to resolve the
infeasibility and impracticality of fine-tuning large language models by only
training a small set of parameters. We provide a taxonomy that covers a broad
range of methods and present a detailed method comparison with a specific focus
on real-life efficiency and fine-tuning multibillion-scale language models.
- Abstract(参考訳): 本稿では,2019年2月から2023年2月までに発行された40以上の論文を対象としたパラメータ効率の良い微調整手法の概要と比較を行った。
これらの手法は,少数のパラメータのみを訓練することで,微調整された大規模言語モデルの実用性と非現実性を解決することを目的としている。
幅広い方法をカバーする分類法を提供し、実生活効率と微調整された数十億規模の言語モデルに特定の焦点をあてた詳細な比較方法を提案する。
関連論文リスト
- Astraios: Parameter-Efficient Instruction Tuning Code Large Language
Models [21.17021844323919]
Astraiosは7つのチューニングメソッドと最大16億のパラメータの4つのモデルサイズを使用して、命令チューニングされた28のOctoCoderモデルのスイートである。
その結果、FFTは全スケールで最高のダウンストリーム性能を示し、PEFT法はモデルスケールに基づいてその有効性に大きな違いがあることがわかった。
論文 参考訳(メタデータ) (2024-01-01T15:30:19Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - Navigating Text-To-Image Customization: From LyCORIS Fine-Tuning to
Model Evaluation [6.7311791228366]
本稿では,安定拡散のための微調整手法を幅広く選択したオープンソースライブラリLyCORISを紹介する。
また,各種微調整技術の体系的評価のための枠組みも提示する。
我々の研究は、最先端の研究と実践的応用のギャップを埋める、微調整パラメータのニュアンスド効果に関する重要な洞察を提供する。
論文 参考訳(メタデータ) (2023-09-26T11:36:26Z) - E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。
本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。
提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2023-07-25T19:03:21Z) - Differentiable Entailment for Parameter Efficient Few Shot Learning [0.0]
本稿では,パラメータ効率を向上する新しい手法を提案する。
数ショット体制におけるパラメータ効率と性能のトレードオフを定量化する。
任意のタスクに拡張可能な,シンプルなモデルに依存しないアプローチを提案する。
論文 参考訳(メタデータ) (2023-01-31T00:31:11Z) - General Framework for Self-Supervised Model Priming for
Parameter-Efficient Fine-tuning [54.47460770634613]
本稿では,パラメータ効率の高い手法の少数ショット適応とクロスドメイン一般化能力を高めるための汎用フレームワークを提案する。
本フレームワークでは,パラメータ効率向上のための自己教師型モデルを用いて,下流の諸課題に迅速に適応する。
我々は160種類のNLPタスクを含む数ショットのクロスドメインベンチマークで実験を行った。
論文 参考訳(メタデータ) (2022-12-02T08:56:53Z) - On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。
これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。
我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
論文 参考訳(メタデータ) (2022-11-28T17:41:48Z) - A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained
Models [87.7086269902562]
サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。
我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
論文 参考訳(メタデータ) (2022-10-13T15:47:09Z) - Know Where You're Going: Meta-Learning for Parameter-Efficient
Fine-tuning [34.66092282348687]
そこで本研究では,微調整手法の究極的な選択を考慮に入れれば,パラメータ効率の高い微調整性能が向上することを示す。
パラメータ効率の良い微調整のための事前学習モデルを作成し,NERファインチューニングにおける最大1.7ポイントのゲインを得た。
論文 参考訳(メタデータ) (2022-05-25T02:51:57Z) - Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。
近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。
我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-08T20:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。