論文の概要: Heterogeneous Low-Rank Approximation for Federated Fine-tuning of
On-Device Foundation Models
- arxiv url: http://arxiv.org/abs/2401.06432v1
- Date: Fri, 12 Jan 2024 07:52:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 20:09:42.286404
- Title: Heterogeneous Low-Rank Approximation for Federated Fine-tuning of
On-Device Foundation Models
- Title(参考訳): オンデバイス基礎モデルのフェデレーション微調整のための不均一低ランク近似
- Authors: Yae Jee Cho and Luyang Liu and Zheng Xu and Aldi Fahrezi and Gauri
Joshi
- Abstract要約: 大きな基礎モデル(FM)は、微調整で特定のドメインやタスクに驚くほどうまく適応する。
標準FMの大型化は資源制約と異種デバイスに課題をもたらす。
ヘテロジニアス低ランク近似(LoRA)を用いたODFMのパラメータ効率・フェデレーション微調整法を提案する。
等質なLoRAランクは、過適合と緩やかな収束のトレードオフに直面しており、クライアント間で異質なランクを採用し、同質なLoRAの欠点を解消するHetLoRAを提案する。
- 参考スコア(独自算出の注目度): 20.707283766914017
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large foundation models (FMs) adapt surprisingly well to specific domains or
tasks with fine-tuning. Federated learning (FL) further enables private FM
fine-tuning using the local data on devices. However, the standard FMs' large
size poses challenges for resource-constrained and heterogeneous devices. To
address this, we consider FMs with reduced parameter sizes, referred to as
on-device FMs (ODFMs). While ODFMs allow on-device inference, computational
constraints still hinder efficient federated fine-tuning. We propose a
parameter-efficient federated fine-tuning method for ODFMs using heterogeneous
low-rank approximations (LoRAs) that addresses system and data heterogeneity.
We show that homogeneous LoRA ranks face a trade-off between overfitting and
slow convergence, and propose HetLoRA, which employs heterogeneous ranks across
clients and eliminates the shortcomings of homogeneous HetLoRA. By applying
rank self-pruning locally and sparsity-weighted aggregation at the server, we
combine the advantages of high and low-rank LoRAs, which achieves improved
convergence speed and final performance compared to homogeneous LoRA.
Furthermore, it offers enhanced computation efficiency compared to full
fine-tuning, making it suitable for heterogeneous devices while preserving data
privacy.
- Abstract(参考訳): 大きな基礎モデル(FM)は、微調整で特定のドメインやタスクに驚くほど順応する。
フェデレーション学習(fl)はさらに、デバイス上のローカルデータを使用したプライベートfm微調整を可能にする。
しかし、標準のFMの大きさは資源制約と異種デバイスに課題をもたらす。
これを解決するために、パラメータサイズを小さくしたFMをオンデバイスFM(ODFM)と呼ぶ。
odfmsはオンデバイス推論を可能にするが、計算の制約は効率的なフェデレーションの微調整を妨げる。
システムとデータの不均一性に対処するヘテロジニアス低ランク近似(LoRA)を用いたODFMのパラメータ効率なフェデレーション微調整法を提案する。
等質なLoRAランクは、過適合と緩やかな収束のトレードオフに直面しており、クライアント間で異質なランクを採用し、同質なHetLoRAの欠点を排除するHetLoRAを提案する。
サーバ上での階数自己計算と疎度重み付けを併用することにより,同種LoRAに比べて収束速度と最終性能が向上する高位と低位のLoRAの利点を組み合わせる。
さらに、完全な微調整に比べて計算効率が向上し、データのプライバシーを保ちながら異種デバイスに適している。
関連論文リスト
- Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。
MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文 参考訳(メタデータ) (2024-04-21T11:59:53Z) - ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models [8.251547772610301]
低ランク適応 (LoRA) の方法論を、低ランク適応 (AloRA) と呼ぶ革新的なアプローチに拡張する。
まず,各ランクの重要度を効果的に推定できる新しい手法であるAB-LoRAを提案する。
第2に、AB-LoRAによって導かれ、我々は徐々にLoRAのランクに多く負の影響を及ぼし、高いランクを必要とする重要なトランスフォーマーモジュールにローラの予算を割り当てる。
論文 参考訳(メタデータ) (2024-03-24T15:09:55Z) - Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。
本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
論文 参考訳(メタデータ) (2024-03-18T23:20:08Z) - PRoLoRA: Partial Rotation Empowers More Parameter-Efficient LoRA [47.660775783954605]
部分回転付低ランク適応(PRoLoRA)を導入する。
PRoLoRAはその利点にかかわっており、ピアパラメータ共有手法の欠点を効果的に回避している。
実験によりPRoLoRAのパラメータ効率が著しく向上した。
論文 参考訳(メタデータ) (2024-02-24T13:39:05Z) - Federated Fine-tuning of Large Language Models under Heterogeneous
Language Tasks and Client Resources [33.302864051619856]
大規模言語モデル(LLM)のパラメータ効率の高い微調整には、最近FL(Federated Learning)が適用されている。
本研究では,LLMファインチューニングのための簡易かつ効果的なアグリゲーションスキームFlexLoRAを紹介する。
1,600以上のクライアントが多様なNLPタスクを実行し,FlexLoRAの有効性を検証した。
論文 参考訳(メタデータ) (2024-02-18T08:32:59Z) - FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the
Power of Heterogeneous Clients [50.13097183691517]
実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。
本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。
各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。
アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
論文 参考訳(メタデータ) (2023-11-19T04:43:16Z) - pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA
Tuning [35.59830784463706]
フェデレートラーニング(FL)は、中央サーバーが複数の参加者(クライアント)を協調的に調整し、分散データをトレーニングする、新たな機械学習パラダイムである。
我々は,LoRAチューニング(pFedLoRA)に基づく,新規で効率的なモデル・ヘテロジニアス・パーソナライズド・ラーニング・フレームワークを提案する。
2つのベンチマークデータセットの実験では、pFedLoRAは6つの最先端ベースラインを上回っている。
論文 参考訳(メタデータ) (2023-10-20T05:24:28Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳(メタデータ) (2022-12-03T03:27:51Z) - FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated
Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。
効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文 参考訳(メタデータ) (2022-10-14T08:11:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。