Fugu-MT 論文翻訳(概要): Federated LoRA with Sparse Communication

論文の概要: Federated LoRA with Sparse Communication

arxiv url: http://arxiv.org/abs/2406.05233v1
Date: Fri, 7 Jun 2024 19:42:05 GMT
ステータス: 処理完了
システム内更新日: 2024-06-11 22:36:11.534492
Title: Federated LoRA with Sparse Communication
Title（参考訳）: 疎通信によるフェデレーションLORA
Authors: Kevin Kuo, Arian Raje, Kousik Rajesh, Virginia Smith,
Abstract要約: ローランク適応(ローランク適応、LoRA)は、コミュニケーションに制約のある機械学習設定において微調整を行う自然な方法である。本研究では,フェデレートされたLoRAにおける通信効率をさらに向上する手法を検討する。
参考スコア（独自算出の注目度）: 12.965591289179372
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Low-rank adaptation (LoRA) is a natural method for finetuning in communication-constrained machine learning settings such as cross-device federated learning. Prior work that has studied LoRA in the context of federated learning has focused on improving LoRA's robustness to heterogeneity and privacy. In this work, we instead consider techniques for further improving communication-efficiency in federated LoRA. Unfortunately, we show that centralized ML methods that improve the efficiency of LoRA through unstructured pruning do not transfer well to federated settings. We instead study a simple approach, \textbf{FLASC}, that applies sparsity to LoRA during communication while allowing clients to locally fine-tune the entire LoRA module. Across four common federated learning tasks, we demonstrate that this method matches the performance of dense LoRA with up to $10\times$ less communication. Additionally, despite being designed primarily to target communication, we find that this approach has benefits in terms of heterogeneity and privacy relative to existing approaches tailored to these specific concerns. Overall, our work highlights the importance of considering system-specific constraints when developing communication-efficient finetuning approaches, and serves as a simple and competitive baseline for future work in federated finetuning.
Abstract（参考訳）: ローランク適応(ローランク適応、LoRA)は、デバイス間フェデレーション学習のような、通信に制約のある機械学習設定において微調整を行う自然な方法である。フェデレートラーニングの文脈でLoRAを研究する以前の研究は、不均一性とプライバシに対するLoRAの堅牢性の改善に重点を置いてきた。そこで本研究では,フェデレートされたLoRAにおける通信効率の向上手法について検討する。残念ながら、未構造化プルーニングによるLoRAの効率を向上する集中型ML手法は、フェデレートされた設定にうまく移行しない。その代わりに、クライアントがLoRAモジュール全体を局所的に微調整しながら、通信中にLoRAに空間性を適用できる簡単なアプローチである「textbf{FLASC}」について研究する。 4つの共通学習課題にまたがって,この手法が高密度LoRAの性能と最大10\timesの低通信性能とを一致させることを示した。さらに、主に通信をターゲットに設計されているにもかかわらず、このアプローチは、これらの特定の懸念に合わせた既存のアプローチと比較して、異質性やプライバシの面でのメリットがある。本研究は,コミュニケーション効率のよいファインタニングアプローチを開発する上で,システム固有の制約を検討することの重要性を強調し,フェデレートファインタニングにおける今後の作業の単純かつ競争的なベースラインとして機能する。

関連論文リスト

LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [5.162783756846019]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。 LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文参考訳（メタデータ） (2024-11-22T14:19:01Z)
Why Gradient Subspace? Identifying and Mitigating LoRA's Bottlenecks in Federated Fine-Tuning of Large Language Models [21.953204885495573]
本稿ではLow-Rank Adaptation (LoRA)を用いたFLフレームワークの収束と性能保証を批判的に分析する。直接重み付けはLoRAベースの戦略よりも優れており、微調整モデルでは優れた性能が得られることを示す。以上の結果から,GaLoreはFlexLoRAやFFA-LoRAといったフェデレートされたLoRA手法よりも,テキストや画像のモダリティにおいて優れた代替手段であることが示唆された。
論文参考訳（メタデータ） (2024-10-30T15:23:44Z)
Enhancing Spectrum Efficiency in 6G Satellite Networks: A GAIL-Powered Policy Learning via Asynchronous Federated Inverse Reinforcement Learning [67.95280175998792]
ビームフォーミング,スペクトルアロケーション,リモートユーザ機器(RUE)アソシエイトを最適化するために,GAILを利用した新しいポリシー学習手法を提案する。手動チューニングなしで報酬関数を自動的に学習するために、逆RL(IRL)を用いる。提案手法は従来のRL手法よりも優れており,コンバージェンスと報酬値の14.6%の改善が達成されている。
論文参考訳（メタデータ） (2024-09-27T13:05:02Z)
FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations [39.88985198467528]
ヘテロジニアスLoRAアダプタ上でのファインチューニングを可能にするFLORAと呼ばれる新しい手法を提案する。我々のアプローチはノイズフリーであり、ヘテロジニアスなLoRAアダプタをシームレスにサポートしています。
論文参考訳（メタデータ） (2024-09-09T18:21:23Z)
Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-24T05:24:41Z)
Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。無線ネットワークへの展開は、プライバシとセキュリティ保護機構の欠如など、依然として課題に直面している。通信オーバーヘッドの少ない2つのパーソナライズされた無線フェデレーションファインチューニング手法を提案する。
論文参考訳（メタデータ） (2024-04-20T02:30:21Z)
Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
論文参考訳（メタデータ） (2024-03-18T23:20:08Z)
ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
論文参考訳（メタデータ） (2024-02-28T04:33:20Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)
pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning [35.59830784463706]
フェデレートラーニング(FL)は、中央サーバーが複数の参加者(クライアント)を協調的に調整し、分散データをトレーニングする、新たな機械学習パラダイムである。我々は,LoRAチューニング(pFedLoRA)に基づく,新規で効率的なモデル・ヘテロジニアス・パーソナライズド・ラーニング・フレームワークを提案する。 2つのベンチマークデータセットの実験では、pFedLoRAは6つの最先端ベースラインを上回っている。
論文参考訳（メタデータ） (2023-10-20T05:24:28Z)
DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文参考訳（メタデータ） (2022-06-01T02:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。