論文の概要: Federated LLMs Fine-tuned with Adaptive Importance-Aware LoRA
- arxiv url: http://arxiv.org/abs/2411.06581v1
- Date: Sun, 10 Nov 2024 19:59:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:10:52.760063
- Title: Federated LLMs Fine-tuned with Adaptive Importance-Aware LoRA
- Title（参考訳）: 適応的重要度を考慮したLLMのファインチューニング
- Authors: Yang Su, Na Yan, Yansha Deng,
- Abstract要約: LLM(Large Language Models)のフェデレートされた微調整は、データプライバシを保持しながら、さまざまなデータセットにまたがるタスク固有の適応を可能にする。
ヘテロジニアス適応型低ランク適応(LoRA)ファインチューニングLDMフレームワーク(HAFL)を提案する。
提案手法は,低通信サイズで迅速に収束し,クライアントへのモデル配信時の性能劣化を回避する。
- 参考スコア（独自算出の注目度）: 24.871424801066006
- License:
- Abstract: Federated fine-tuning of pre-trained Large Language Models (LLMs) enables task-specific adaptation across diverse datasets while preserving data privacy. However, the large model size and heterogeneity in client resources pose significant computational and communication challenges. To address these issues, in this paper, we propose a novel Heterogeneous Adaptive Federated Low-Rank Adaptation (LoRA) fine-tuned LLM framework (HAFL). To accommodate client resource heterogeneity, we first introduce an importance-based parameter truncation scheme, which allows clients to have different LoRA ranks, and smoothed sensitivity scores are used as importance indicators. Despite its flexibility, the truncation process may cause performance degradation. To tackle this problem, we develop an importance-based parameter freezing scheme. In this approach, both the cloud server and clients maintain the same LoRA rank, while clients selectively update only the most important decomposed LoRA rank-1 matrices, keeping the rest frozen. To mitigate the information dilution caused by the zero-padding aggregation method, we propose an adaptive aggregation approach that operates at the decomposed rank-1 matrix level. Experiments on the 20 News Group classification task show that our method converges quickly with low communication size, and avoids performance degradation when distributing models to clients compared to truncation-based heterogeneous LoRA rank scheme. Additionally, our adaptive aggregation method achieves faster convergence compared to the zero-padding approach.
- Abstract（参考訳）: LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、データプライバシを保持しながら、さまざまなデータセットにまたがるタスク固有の適応を可能にする。
しかし、クライアントリソースにおける大きなモデルサイズと不均一性は、計算と通信に重大な課題をもたらす。
これらの問題に対処するため,本論文では,不均一適応型低ランク適応 (LoRA) ファインチューニング LLM フレームワーク (HAFL) を提案する。
クライアントリソースの不均一性に対応するために、まず重要度に基づくパラメータ切り出し方式を導入し、クライアントが異なるLORAランクを持つようにし、スムーズな感度スコアを重要度指標として用いる。
その柔軟性にもかかわらず、切り離しプロセスは性能を低下させる可能性がある。
この問題に対処するため,重要度に基づくパラメータ凍結手法を開発した。
このアプローチでは、クラウドサーバとクライアントは同じLoRAランクを維持し、クライアントは最も重要なLoRAランク1行列だけを選択的に更新し、残りは凍結する。
ゼロ・パディング・アグリゲーション法によって引き起こされる情報の希釈を緩和するため,分解されたランク1行列レベルで機能する適応的アグリゲーション・アプローチを提案する。
20ニューズグループ分類タスクの実験では,提案手法は通信サイズが小さいほど急速に収束し,不均一なLoRAランクスキームと比較して,クライアントにモデルを配布する際の性能劣化を回避している。
さらに,アダプティブアグリゲーション法は,ゼロパディング法よりも高速な収束を実現する。
関連論文リスト
- LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [5.162783756846019]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。
低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。
LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文 参考訳（メタデータ） (2024-11-22T14:19:01Z) - IterIS: Iterative Inference-Solving Alignment for LoRA Merging [14.263218227928729]
低ランク適応(LoRA)は、特定の下流タスクのために様々な領域にまたがる大きなモデルを微調整するために広く使われている。
LoRAマージは、データのプライバシを維持しながら複数のLoRAを統一アダプタに結合することで、効果的なソリューションを提供する。
論文 参考訳（メタデータ） (2024-11-21T19:04:02Z) - Exact Aggregation for Federated and Efficient Fine-Tuning of Foundation Models [5.1613368481802455]
Low-Rank Adaptation (LoRA) は基礎モデルの効率的な微調整技術として人気がある。
凍結重量行列に残留誤差項を追加するFederated Exact LoRA(FedEx-LoRA)を提案する。
提案手法は,LoRAの効率を保ちながら,計算と通信のオーバーヘッドを最小限に抑えた正確な更新を実現する。
論文 参考訳（メタデータ） (2024-10-12T08:22:44Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations [39.88985198467528]
ヘテロジニアスLoRAアダプタ上でのファインチューニングを可能にするFLORAと呼ばれる新しい手法を提案する。
我々のアプローチはノイズフリーであり、ヘテロジニアスなLoRAアダプタをシームレスにサポートしています。
論文 参考訳（メタデータ） (2024-09-09T18:21:23Z) - SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳（メタデータ） (2024-07-10T10:22:35Z) - Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity [12.515874333424929]
クライアント間の不均一なランクが不安定なパフォーマンスにつながることを観察する。
この不安定性は従来のゼロ・パディング・アグリゲーション・ストラテジーに起因している。
高品質なデータを持つクライアントからの貴重な情報をよりよく保持するレプリケーションベースのパディング戦略を提案する。
論文 参考訳（メタデータ） (2024-06-25T11:49:33Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z) - Client Orchestration and Cost-Efficient Joint Optimization for
NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。
提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-11-03T13:34:44Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。