論文の概要: FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations
- arxiv url: http://arxiv.org/abs/2409.05976v1
- Date: Mon, 9 Sep 2024 18:21:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 20:02:25.052854
- Title: FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations
- Title(参考訳): FLoRA:不均一な低ランク適応を伴うファインチューニング大言語モデル
- Authors: Ziyao Wang, Zheyu Shen, Yexiao He, Guoheng Sun, Hongyi Wang, Lingjuan Lyu, Ang Li,
- Abstract要約: ヘテロジニアスLoRAアダプタ上でのファインチューニングを可能にするFLORAと呼ばれる新しい手法を提案する。
我々のアプローチはノイズフリーであり、ヘテロジニアスなLoRAアダプタをシームレスにサポートしています。
- 参考スコア(独自算出の注目度): 39.88985198467528
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid development of Large Language Models (LLMs) has been pivotal in advancing AI, with pre-trained LLMs being adaptable to diverse downstream tasks through fine-tuning. Federated learning (FL) further enhances fine-tuning in a privacy-aware manner by utilizing clients' local data through in-situ computation, eliminating the need for data movement. However, fine-tuning LLMs, given their massive scale of parameters, poses challenges for clients with constrained and heterogeneous resources in FL. Previous methods employed low-rank adaptation (LoRA) for efficient federated fine-tuning but utilized traditional FL aggregation strategies on LoRA adapters. These approaches led to mathematically inaccurate aggregation noise, reducing fine-tuning effectiveness and failing to address heterogeneous LoRAs. In this work, we first highlight the mathematical incorrectness of LoRA aggregation in existing federated fine-tuning methods. We introduce a new approach called FLORA that enables federated fine-tuning on heterogeneous LoRA adapters across clients through a novel stacking-based aggregation method. Our approach is noise-free and seamlessly supports heterogeneous LoRA adapters. Extensive experiments demonstrate FLORA' s superior performance in both homogeneous and heterogeneous settings, surpassing state-of-the-art methods. We envision this work as a milestone for efficient, privacy-preserving, and accurate federated fine-tuning of LLMs. Our code is available at https://github.com/ATP-1010/FederatedLLM.
- Abstract(参考訳): 大規模言語モデル(LLM)の急速な開発はAIの進歩において重要な役割を担い、訓練済みのLLMは微調整によって様々な下流タスクに適応できる。
フェデレートラーニング(FL)は、クライアントのローカルデータをその場で計算することで、データ移動の必要性をなくし、プライバシーに配慮した微調整をさらに強化する。
しかし、その膨大なパラメータを考慮に入れた微調整 LLM は、FL に制約のある異種リソースを持つクライアントに対して課題を提起する。
従来はローランク適応 (LoRA) をフェデレートファインチューニングに用いていたが, 従来のFLアグリゲーション戦略をLoRAアダプタに用いた。
これらのアプローチにより、数学的に不正確な集約ノイズが発生し、微調整効率が低下し、不均一なLoRAに対処できなかった。
本研究では,既存のファインチューニング手法におけるLoRAアグリゲーションの数学的誤りを最初に強調する。
我々はFLORAと呼ばれる新しい手法を導入し、新しいスタックリングベースのアグリゲーション手法により、クライアント間で不均一なLoRAアダプタをフェデレートした微調整を可能にする。
我々のアプローチはノイズフリーであり、ヘテロジニアスなLoRAアダプタをシームレスにサポートしています。
広汎な実験により、FLORAは均一性および異種性の両方で優れた性能を示し、最先端の手法を超越している。
我々は,LLMの効率的な,プライバシー保護,高精度なファインタニングのためのマイルストーンとして,この作業が期待されている。
私たちのコードはhttps://github.com/ATP-1010/FederatedLLM.comで利用可能です。
関連論文リスト
- FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model [48.33280660752336]
大規模言語モデル(LLM)は、適切なデータで微調整した後、多くのドメイン固有のタスクで素晴らしいパフォーマンスを示す。
多くのドメイン固有のデータは、プライベートに複数の所有者に分散される。
我々は,フェデレート学習のための資源効率の高いLLM微調整手法であるFedBiOTを紹介する。
論文 参考訳(メタデータ) (2024-06-25T16:45:47Z) - Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。
MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文 参考訳(メタデータ) (2024-04-21T11:59:53Z) - Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。
本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
論文 参考訳(メタデータ) (2024-03-18T23:20:08Z) - ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。
提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。
NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
論文 参考訳(メタデータ) (2024-02-28T04:33:20Z) - Federated Fine-tuning of Large Language Models under Heterogeneous Tasks and Client Resources [31.041608465716575]
大規模言語モデル(LLM)のパラメータ効率の高い微調整には、最近FL(Federated Learning)が適用されている。
本研究では,LLMファインチューニングのための簡易かつ効果的なアグリゲーションスキームFlexLoRAを紹介する。
論文 参考訳(メタデータ) (2024-02-18T08:32:59Z) - Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation
Models [20.707283766914017]
HetLoRAはクライアントデバイス間での不均一なランク付けを可能にし、これらの不均一なLoRAモジュールを効率的に集約し、配布する。
HetLoRAは同種LoRAに比べて収束速度と最終性能が向上する。
論文 参考訳(メタデータ) (2024-01-12T07:52:07Z) - pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA
Tuning [35.59830784463706]
フェデレートラーニング(FL)は、中央サーバーが複数の参加者(クライアント)を協調的に調整し、分散データをトレーニングする、新たな機械学習パラダイムである。
我々は,LoRAチューニング(pFedLoRA)に基づく,新規で効率的なモデル・ヘテロジニアス・パーソナライズド・ラーニング・フレームワークを提案する。
2つのベンチマークデータセットの実験では、pFedLoRAは6つの最先端ベースラインを上回っている。
論文 参考訳(メタデータ) (2023-10-20T05:24:28Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳(メタデータ) (2022-12-03T03:27:51Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。