論文の概要: Federated Sketching LoRA: On-Device Collaborative Fine-Tuning of Large Language Models
- arxiv url: http://arxiv.org/abs/2501.19389v1
- Date: Fri, 31 Jan 2025 18:44:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-03 14:01:03.555376
- Title: Federated Sketching LoRA: On-Device Collaborative Fine-Tuning of Large Language Models
- Title（参考訳）: Federated Sketching LoRA: 大規模言語モデルのデバイス上での協調的微調整
- Authors: Wenzhi Fang, Dong-Jun Han, Liangqi Yuan, Seyyedali Hosseinalipour, Christopher G. Brinton,
- Abstract要約: デバイス上での微調整大型言語モデル(LLM)への関心が高まっている。
近年のローランク適応 (LoRA) 技術は, デバイスモデルのサイズやデータ不足に伴う課題を軽減するために, ファインチューニングを併用している。
サーバが保持するグローバルなLoRAモジュールのサブマトリクスを選択的に更新するために,スケッチ機構を活用したフェデレートスケッチLoRAを提案する。
- 参考スコア（独自算出の注目度）: 18.782733798668122
- License:
- Abstract: Fine-tuning large language models (LLMs) on devices is attracting increasing interest. Recent works have fused low-rank adaptation (LoRA) techniques with federated fine-tuning to mitigate challenges associated with device model sizes and data scarcity. Still, the heterogeneity of computational resources remains a critical bottleneck: while higher-rank modules generally enhance performance, varying device capabilities constrain LoRA's feasible rank range. Existing approaches attempting to resolve this issue either lack analytical justification or impose additional computational overhead, leaving a wide gap for an efficient and theoretically-grounded solution. To address these challenges, we propose federated sketching LoRA (FSLoRA), which leverages a sketching mechanism to enable devices to selectively update submatrices of global LoRA modules maintained by the server. By adjusting the sketching ratios, which determine the ranks of the submatrices on the devices, FSLoRA flexibly adapts to device-specific communication and computational constraints. We provide a rigorous convergence analysis of FSLoRA that characterizes how the sketching ratios affect the convergence rate. Through comprehensive experiments on multiple datasets and LLM models, we demonstrate FSLoRA's superior performance compared to various baselines.
- Abstract（参考訳）: デバイス上での微調整大型言語モデル(LLM)への関心が高まっている。
近年のローランク適応 (LoRA) 技術は, デバイスモデルのサイズやデータ不足に伴う課題を軽減するために, ファインチューニングを併用している。
それでも、計算資源の不均一性は重要なボトルネックであり、高階モジュールは一般に性能を向上するが、様々なデバイス能力はLoRAの可能なランク範囲を制限している。
この問題を解決しようとする既存のアプローチは、分析的正当化が欠如しているか、さらなる計算オーバーヘッドを課すかのいずれかであり、効率的で理論的な解には大きなギャップが残されている。
これらの課題に対処するため,サーバが保持するグローバルなLoRAモジュールのサブマトリクスを選択的に更新するために,スケッチ機構を活用したフェデレートスケッチLoRA(FSLoRA)を提案する。
デバイス上のサブマトリクスのランクを決定するスケッチ比を調整することで、FSLoRAはデバイス固有の通信や計算制約に柔軟に対応できる。
FSLoRAの厳密な収束解析を行い、スケッチの比率が収束率にどのように影響するかを特徴付ける。
複数のデータセットとLLMモデルに関する包括的な実験を通じて、FSLoRAの様々なベースラインと比較して優れた性能を示す。
関連論文リスト
- LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [5.162783756846019]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。
低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。
LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文 参考訳（メタデータ） (2024-11-22T14:19:01Z) - Federated LLMs Fine-tuned with Adaptive Importance-Aware LoRA [24.871424801066006]
LLM(Large Language Models)のフェデレートされた微調整は、データプライバシを保持しながら、さまざまなデータセットにまたがるタスク固有の適応を可能にする。
ヘテロジニアス適応型低ランク適応(LoRA)ファインチューニングLDMフレームワーク(HAFL)を提案する。
提案手法は,低通信サイズで迅速に収束し,クライアントへのモデル配信時の性能劣化を回避する。
論文 参考訳（メタデータ） (2024-11-10T19:59:54Z) - Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。
Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。
本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文 参考訳（メタデータ） (2024-10-25T17:07:13Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - Resource Management for Low-latency Cooperative Fine-tuning of Foundation Models at the Network Edge [35.40849522296486]
大規模ファウンデーションモデル(FoMos)は、人間のような知性を実現することができる。
FoMosは微調整技術により、特定の下流タスクに適応する必要がある。
デバイスエッジ協調微調整パラダイムにおける多デバイス連携を提唱する。
論文 参考訳（メタデータ） (2024-07-13T12:47:14Z) - Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。
本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-24T05:24:41Z) - Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。
MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文 参考訳（メタデータ） (2024-04-21T11:59:53Z) - Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation
Models [20.707283766914017]
HetLoRAはクライアントデバイス間での不均一なランク付けを可能にし、これらの不均一なLoRAモジュールを効率的に集約し、配布する。
HetLoRAは同種LoRAに比べて収束速度と最終性能が向上する。
論文 参考訳（メタデータ） (2024-01-12T07:52:07Z) - CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without
Full Large Language Model [22.870512676002463]
本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。
これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。
以上の結果から,CRaShとOFTの有効性が明らかとなった。
論文 参考訳（メタデータ） (2023-10-24T03:08:58Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。