論文の概要: SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models
- arxiv url: http://arxiv.org/abs/2308.06522v1
- Date: Sat, 12 Aug 2023 10:33:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 16:54:23.171170
- Title: SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models
- Title（参考訳）: SLoRA: 言語モデルのファインチューニングに有効なフェデレーションパラメータ
- Authors: Sara Babakniya, Ahmed Roushdy Elkordy, Yahya H. Ezzeldin, Qingfeng
Liu, Kee-Bong Song, Mostafa El-Khamy, Salman Avestimehr
- Abstract要約: FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。
異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。
実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
- 参考スコア（独自算出の注目度）: 28.764782216513037
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transfer learning via fine-tuning pre-trained transformer models has gained
significant success in delivering state-of-the-art results across various NLP
tasks. In the absence of centralized data, Federated Learning (FL) can benefit
from distributed and private data of the FL edge clients for fine-tuning.
However, due to the limited communication, computation, and storage
capabilities of edge devices and the huge sizes of popular transformer models,
efficient fine-tuning is crucial to make federated training feasible. This work
explores the opportunities and challenges associated with applying parameter
efficient fine-tuning (PEFT) methods in different FL settings for language
tasks. Specifically, our investigation reveals that as the data across users
becomes more diverse, the gap between fully fine-tuning the model and employing
PEFT methods widens. To bridge this performance gap, we propose a method called
SLoRA, which overcomes the key limitations of LoRA in high heterogeneous data
scenarios through a novel data-driven initialization technique. Our
experimental results demonstrate that SLoRA achieves performance comparable to
full fine-tuning, with significant sparse updates with approximately $\sim 1\%$
density while reducing training time by up to $90\%$.
- Abstract（参考訳）: 微調整された事前学習型トランスフォーマーモデルによる伝達学習は、様々なNLPタスクに対して最先端の結果を提供する上で大きな成功を収めている。
集中型データがないと、Federated Learning(FL)はFLエッジクライアントの分散およびプライベートなデータから恩恵を受けることができる。
しかし、エッジデバイスの通信能力、計算能力、ストレージ能力に制限があり、一般的なトランスフォーマーモデルの巨大なサイズのため、効率的な微調整がフェデレートトレーニングの実現に不可欠である。
本研究では,パラメータ効率のよい微調整(PEFT)手法を言語タスクのFL設定に応用する機会と課題について検討する。
具体的には,ユーザ間でのデータの多様性が増すにつれて,モデルを完全に微調整することとPEFT手法を採用することのギャップが拡大することを明らかにする。
この性能ギャップを埋めるために、新しいデータ駆動初期化手法により、高異種データシナリオにおけるLoRAの重要な制限を克服するSLoRAという手法を提案する。
実験の結果、sloraは完全な微調整に匹敵する性能を達成し、約$\sim 1\%$密度の大幅な更新と最大$90\%$のトレーニング時間を削減した。
関連論文リスト
- Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models [24.07770417615704]
大規模言語モデルの適応手法であるFedTTとFedTT+を紹介する。
FedTTは汎用的で、クロスサイロFLと大規模クロスデバイスFLの両方に適用できる。
提案手法は,データ不均一性の問題に対処し,既存のPEFT手法よりも同等あるいはそれ以上の精度で処理する。
論文 参考訳（メタデータ） (2024-10-16T23:50:39Z) - Fisher Information-based Efficient Curriculum Federated Learning with Large Language Models [43.26028399395612]
本稿では,2つの新しい手法を用いたフィッシャー情報に基づく効率的なカリキュラムフェデレート学習フレームワーク(FibecFed)を提案する。
まず,各装置内のデータを適応的にサンプリングし,FL微調整プロセスの有効性を向上させるための漁師情報に基づく手法を提案する。
第2に,グローバルアグリゲーションのための適切なレイヤとLoRAによるローカル更新のためのスパースパラメータを動的に選択する。
論文 参考訳（メタデータ） (2024-09-30T18:12:18Z) - Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models [54.02863371927658]
大規模言語モデル(LLM)は多くの現実世界のアプリケーションで必須となっている。
フェレットは、ランダム性を共有する最初の一階法である。
高い計算効率、通信オーバーヘッドの低減、高速収束を実現している。
論文 参考訳（メタデータ） (2024-09-10T07:28:13Z) - FeDeRA:Efficient Fine-tuning of Language Models in Federated Learning Leveraging Weight Decomposition [7.229494183462913]
微調整後の例外的なパフォーマンスにもかかわらず、プレトレーニング言語モデル(PLM)はプライバシー上の懸念から重大な課題に直面している。
本論文では,フェデレートラーニング(FL)を微調整PLMとみなす。
1つの有望な解決策はパラメータ効率細調整(PEFT)をFLに活用することであり、完全なパラメータ細調整(FFT)よりもはるかに小さなパラメータセットを訓練する。
論文 参考訳（メタデータ） (2024-04-29T16:42:26Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。
FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。
サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
論文 参考訳（メタデータ） (2023-12-11T13:03:21Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T16:37:59Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal
Heterogeneous Federated Learning [37.96957782129352]
我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。
Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。
その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
論文 参考訳（メタデータ） (2023-08-21T21:57:01Z) - When Federated Learning Meets Pre-trained Language Models'
Parameter-Efficient Tuning Methods [22.16636947999123]
フェデレート学習に様々なパラメータ効率チューニング(PETuning)手法を導入する。
具体的には,FL における代表的 PLM チューニング手法の総合的研究について述べる。
全体としての通信オーバーヘッドは、局所的なチューニングと、軽量モデルパラメータのグローバル集約によって大幅に削減できる。
論文 参考訳（メタデータ） (2022-12-20T06:44:32Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。