論文の概要: Heterogeneous Low-Rank Approximation for Federated Fine-tuning of
On-Device Foundation Models
- arxiv url: http://arxiv.org/abs/2401.06432v1
- Date: Fri, 12 Jan 2024 07:52:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 20:09:42.286404
- Title: Heterogeneous Low-Rank Approximation for Federated Fine-tuning of
On-Device Foundation Models
- Title（参考訳）: オンデバイス基礎モデルのフェデレーション微調整のための不均一低ランク近似
- Authors: Yae Jee Cho and Luyang Liu and Zheng Xu and Aldi Fahrezi and Gauri
Joshi
- Abstract要約: 大きな基礎モデル(FM)は、微調整で特定のドメインやタスクに驚くほどうまく適応する。
標準FMの大型化は資源制約と異種デバイスに課題をもたらす。
ヘテロジニアス低ランク近似(LoRA)を用いたODFMのパラメータ効率・フェデレーション微調整法を提案する。
等質なLoRAランクは、過適合と緩やかな収束のトレードオフに直面しており、クライアント間で異質なランクを採用し、同質なLoRAの欠点を解消するHetLoRAを提案する。
- 参考スコア（独自算出の注目度）: 20.707283766914017
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large foundation models (FMs) adapt surprisingly well to specific domains or
tasks with fine-tuning. Federated learning (FL) further enables private FM
fine-tuning using the local data on devices. However, the standard FMs' large
size poses challenges for resource-constrained and heterogeneous devices. To
address this, we consider FMs with reduced parameter sizes, referred to as
on-device FMs (ODFMs). While ODFMs allow on-device inference, computational
constraints still hinder efficient federated fine-tuning. We propose a
parameter-efficient federated fine-tuning method for ODFMs using heterogeneous
low-rank approximations (LoRAs) that addresses system and data heterogeneity.
We show that homogeneous LoRA ranks face a trade-off between overfitting and
slow convergence, and propose HetLoRA, which employs heterogeneous ranks across
clients and eliminates the shortcomings of homogeneous HetLoRA. By applying
rank self-pruning locally and sparsity-weighted aggregation at the server, we
combine the advantages of high and low-rank LoRAs, which achieves improved
convergence speed and final performance compared to homogeneous LoRA.
Furthermore, it offers enhanced computation efficiency compared to full
fine-tuning, making it suitable for heterogeneous devices while preserving data
privacy.
- Abstract（参考訳）: 大きな基礎モデル(FM)は、微調整で特定のドメインやタスクに驚くほど順応する。
フェデレーション学習(fl)はさらに、デバイス上のローカルデータを使用したプライベートfm微調整を可能にする。
しかし、標準のFMの大きさは資源制約と異種デバイスに課題をもたらす。
これを解決するために、パラメータサイズを小さくしたFMをオンデバイスFM(ODFM)と呼ぶ。
odfmsはオンデバイス推論を可能にするが、計算の制約は効率的なフェデレーションの微調整を妨げる。
システムとデータの不均一性に対処するヘテロジニアス低ランク近似(LoRA)を用いたODFMのパラメータ効率なフェデレーション微調整法を提案する。
等質なLoRAランクは、過適合と緩やかな収束のトレードオフに直面しており、クライアント間で異質なランクを採用し、同質なHetLoRAの欠点を排除するHetLoRAを提案する。
サーバ上での階数自己計算と疎度重み付けを併用することにより,同種LoRAに比べて収束速度と最終性能が向上する高位と低位のLoRAの利点を組み合わせる。
さらに、完全な微調整に比べて計算効率が向上し、データのプライバシーを保ちながら異種デバイスに適している。
関連論文リスト
- BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳（メタデータ） (2025-02-19T10:33:22Z) - Federated Sketching LoRA: On-Device Collaborative Fine-Tuning of Large Language Models [18.782733798668122]
デバイス上での微調整大型言語モデル(LLM)への関心が高まっている。
近年のローランク適応 (LoRA) 技術は, デバイスモデルのサイズやデータ不足に伴う課題を軽減するために, ファインチューニングを併用している。
サーバが保持するグローバルなLoRAモジュールのサブマトリクスを選択的に更新するために,スケッチ機構を活用したフェデレートスケッチLoRAを提案する。
論文 参考訳（メタデータ） (2025-01-31T18:44:35Z) - Adaptive Parameter-Efficient Federated Fine-Tuning on Heterogeneous Devices [24.725928966071212]
Federated Fine-tuning (FedFT) は、事前訓練された言語モデルを分散的に微調整するために提案されている。
LEGENDと呼ばれる新しいLoRAベースのFedFTフレームワークを提案する。
我々は,LoRA深度とランク分布の結合関係を解析し,不均一デバイスに対する効率的なLoRA構成アルゴリズムを設計する。
論文 参考訳（メタデータ） (2024-12-28T04:00:42Z) - Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。
現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。
そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
論文 参考訳（メタデータ） (2024-12-03T07:25:30Z) - LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [5.162783756846019]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。
低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。
LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文 参考訳（メタデータ） (2024-11-22T14:19:01Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations [39.88985198467528]
ヘテロジニアスLoRAアダプタ上でのファインチューニングを可能にするFLORAと呼ばれる新しい手法を提案する。
我々のアプローチはノイズフリーであり、ヘテロジニアスなLoRAアダプタをシームレスにサポートしています。
論文 参考訳（メタデータ） (2024-09-09T18:21:23Z) - LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。
計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。
低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
論文 参考訳（メタデータ） (2024-07-25T17:57:12Z) - Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。
MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文 参考訳（メタデータ） (2024-04-21T11:59:53Z) - Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。
本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
論文 参考訳（メタデータ） (2024-03-18T23:20:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。