論文の概要: Heterogeneous Low-Rank Approximation for Federated Fine-tuning of
On-Device Foundation Models
- arxiv url: http://arxiv.org/abs/2401.06432v1
- Date: Fri, 12 Jan 2024 07:52:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 20:09:42.286404
- Title: Heterogeneous Low-Rank Approximation for Federated Fine-tuning of
On-Device Foundation Models
- Title（参考訳）: オンデバイス基礎モデルのフェデレーション微調整のための不均一低ランク近似
- Authors: Yae Jee Cho and Luyang Liu and Zheng Xu and Aldi Fahrezi and Gauri
Joshi
- Abstract要約: 大きな基礎モデル(FM)は、微調整で特定のドメインやタスクに驚くほどうまく適応する。
標準FMの大型化は資源制約と異種デバイスに課題をもたらす。
ヘテロジニアス低ランク近似(LoRA)を用いたODFMのパラメータ効率・フェデレーション微調整法を提案する。
等質なLoRAランクは、過適合と緩やかな収束のトレードオフに直面しており、クライアント間で異質なランクを採用し、同質なLoRAの欠点を解消するHetLoRAを提案する。
- 参考スコア（独自算出の注目度）: 20.707283766914017
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large foundation models (FMs) adapt surprisingly well to specific domains or
tasks with fine-tuning. Federated learning (FL) further enables private FM
fine-tuning using the local data on devices. However, the standard FMs' large
size poses challenges for resource-constrained and heterogeneous devices. To
address this, we consider FMs with reduced parameter sizes, referred to as
on-device FMs (ODFMs). While ODFMs allow on-device inference, computational
constraints still hinder efficient federated fine-tuning. We propose a
parameter-efficient federated fine-tuning method for ODFMs using heterogeneous
low-rank approximations (LoRAs) that addresses system and data heterogeneity.
We show that homogeneous LoRA ranks face a trade-off between overfitting and
slow convergence, and propose HetLoRA, which employs heterogeneous ranks across
clients and eliminates the shortcomings of homogeneous HetLoRA. By applying
rank self-pruning locally and sparsity-weighted aggregation at the server, we
combine the advantages of high and low-rank LoRAs, which achieves improved
convergence speed and final performance compared to homogeneous LoRA.
Furthermore, it offers enhanced computation efficiency compared to full
fine-tuning, making it suitable for heterogeneous devices while preserving data
privacy.
- Abstract（参考訳）: 大きな基礎モデル(FM)は、微調整で特定のドメインやタスクに驚くほど順応する。
フェデレーション学習(fl)はさらに、デバイス上のローカルデータを使用したプライベートfm微調整を可能にする。
しかし、標準のFMの大きさは資源制約と異種デバイスに課題をもたらす。
これを解決するために、パラメータサイズを小さくしたFMをオンデバイスFM(ODFM)と呼ぶ。
odfmsはオンデバイス推論を可能にするが、計算の制約は効率的なフェデレーションの微調整を妨げる。
システムとデータの不均一性に対処するヘテロジニアス低ランク近似(LoRA)を用いたODFMのパラメータ効率なフェデレーション微調整法を提案する。
等質なLoRAランクは、過適合と緩やかな収束のトレードオフに直面しており、クライアント間で異質なランクを採用し、同質なHetLoRAの欠点を排除するHetLoRAを提案する。
サーバ上での階数自己計算と疎度重み付けを併用することにより,同種LoRAに比べて収束速度と最終性能が向上する高位と低位のLoRAの利点を組み合わせる。
さらに、完全な微調整に比べて計算効率が向上し、データのプライバシーを保ちながら異種デバイスに適している。
関連論文リスト
- LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [5.162783756846019]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。
低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。
LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文 参考訳（メタデータ） (2024-11-22T14:19:01Z) - Fed-piLot: Optimizing LoRA Assignment for Efficient Federated Foundation Model Fine-Tuning [11.10244162253018]
ヘテロジニアスクライアントのためのローカルLoRA割り当てを最適化したFedFMファインチューニングフレームワークであるFed-piLotを紹介する。
我々は、クライアントのメモリ制約下でのLoRA割り当てを最適化するために、IGスコア(Local-Global Information Gain Score)ベースの値関数を設計する。
IIDおよび非IID条件下での3つのデータセットの実験結果は、Fed-piLotの有効性と効率を示す。
論文 参考訳（メタデータ） (2024-10-14T06:36:41Z) - Exact Aggregation for Federated and Efficient Fine-Tuning of Foundation Models [5.1613368481802455]
Low-Rank Adaptation (LoRA) は基礎モデルの効率的な微調整技術として人気がある。
凍結重量行列に残留誤差項を追加するFederated Exact LoRA(FedEx-LoRA)を提案する。
提案手法は,LoRAの効率を保ちながら,計算と通信のオーバーヘッドを最小限に抑えた正確な更新を実現する。
論文 参考訳（メタデータ） (2024-10-12T08:22:44Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - Flat-LoRA: Low-Rank Adaption over a Flat Loss Landscape [52.98187034726091]
Low-Rank Adaptation (LoRA) は低ランク行列のみを最適化することでモデルを微調整する効率的な方法である。
ロラ空間に平坦に見える解は、全パラメータ空間に鋭い方向が存在し、一般化性能を損なう可能性がある。
フルパラメータ空間の平坦領域に位置する低ランク適応を求める効率的なアプローチであるFlat-LoRAを提案する。
論文 参考訳（メタデータ） (2024-09-22T11:24:10Z) - FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations [39.88985198467528]
ヘテロジニアスLoRAアダプタ上でのファインチューニングを可能にするFLORAと呼ばれる新しい手法を提案する。
我々のアプローチはノイズフリーであり、ヘテロジニアスなLoRAアダプタをシームレスにサポートしています。
論文 参考訳（メタデータ） (2024-09-09T18:21:23Z) - LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。
計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。
低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
論文 参考訳（メタデータ） (2024-07-25T17:57:12Z) - Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。
MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文 参考訳（メタデータ） (2024-04-21T11:59:53Z) - Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。
本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
論文 参考訳（メタデータ） (2024-03-18T23:20:08Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:27:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。