論文の概要: DeCAF: Decentralized Consensus-And-Factorization for Low-Rank Adaptation of Foundation Models
- arxiv url: http://arxiv.org/abs/2505.21382v1
- Date: Tue, 27 May 2025 16:10:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-28 17:05:58.79038
- Title: DeCAF: Decentralized Consensus-And-Factorization for Low-Rank Adaptation of Foundation Models
- Title（参考訳）: DeCAF: ファンデーションモデルの低ランク適応のための分散コンセンサス・アンド・ファクタ化
- Authors: Nastaran Saadati, Zhanhong Jiang, Joshua R. Waite, Shreyan Ganguly, Aditya Balu, Chinmay Hegde, Soumik Sarkar,
- Abstract要約: Low-Rank Adaptation (LoRA)は視覚言語モデル(VLM)とLarge Language Models(LLM)を訓練するための最も効果的で、計算に難解な微調整手法の1つとして登場した。
この研究は、分散化LoRAの収束率を改善し、滑らか性を確保することにより、分散化勾配SGDの速度に適合する。
また,DLoRAとTSVDに基づく行列分解を統合し,コンセンサス干渉を解消する新しいアルゴリズムであるDeCAFを導入する。
- 参考スコア（独自算出の注目度）: 22.45637113673959
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-Rank Adaptation (LoRA) has emerged as one of the most effective, computationally tractable fine-tuning approaches for training Vision-Language Models (VLMs) and Large Language Models (LLMs). LoRA accomplishes this by freezing the pre-trained model weights and injecting trainable low-rank matrices, allowing for efficient learning of these foundation models even on edge devices. However, LoRA in decentralized settings still remains under explored, particularly for the theoretical underpinnings due to the lack of smoothness guarantee and model consensus interference (defined formally below). This work improves the convergence rate of decentralized LoRA (DLoRA) to match the rate of decentralized SGD by ensuring gradient smoothness. We also introduce DeCAF, a novel algorithm integrating DLoRA with truncated singular value decomposition (TSVD)-based matrix factorization to resolve consensus interference. Theoretical analysis shows TSVD's approximation error is bounded and consensus differences between DLoRA and DeCAF vanish as rank increases, yielding DeCAF's matching convergence rate. Extensive experiments across vision/language tasks demonstrate our algorithms outperform local training and rivals federated learning under both IID and non-IID data distributions.
- Abstract（参考訳）: Low-Rank Adaptation (LoRA)は視覚言語モデル(VLM)とLarge Language Models(LLM)のトレーニングにおいて、最も効果的で、計算に追従可能な微調整手法の1つとして登場した。
LoRAはトレーニング済みのモデルウェイトを凍結し、トレーニング可能な低ランク行列を注入することで、エッジデバイス上でもこれらの基礎モデルの効率的な学習を可能にする。
しかし、分散環境でのLoRAは、スムーズ性保証の欠如とモデルコンセンサス干渉(後述)のため、特に理論的基盤として検討が続けられている。
この研究は、分散化LoRA(DLoRA)の収束率を改善し、勾配の滑らかさを確保することにより、分散化SGDの速度に適合する。
また,DLoRAとTSVDに基づく行列分解を統合し,コンセンサス干渉を解消する新しいアルゴリズムであるDeCAFを導入する。
理論的解析により、TSVDの近似誤差は有界であり、DLoRAとDeCAFのコンセンサス差はランクが増加するにつれて消失し、DeCAFの一致収束率が得られる。
視覚/言語タスクにわたる大規模な実験により、我々のアルゴリズムは局所的なトレーニングよりも優れており、IIDと非IIDデータ分散の両方の下でのフェデレーション学習に匹敵する。
関連論文リスト
- Convergence Analysis of Aggregation-Broadcast in LoRA-enabled Federated Learning [4.947778455281166]
フェデレートラーニング(FL)は、分散データソース間の協調モデルトレーニングを可能にする。
Low-Rank Adaptation (LoRA) は効率的な微調整法としてFLに導入された。
LoRAに更新されたローカルモデルをサーバに集約する方法は、依然として重要かつ未検討の課題である。
論文 参考訳（メタデータ） (2025-08-02T12:54:17Z) - FedHL: Federated Learning for Heterogeneous Low-Rank Adaptation via Unbiased Aggregation [6.5370850242187855]
フェデレートラーニング(FL)は、分散データソースを使用したファンデーションモデル(FM)の微調整を容易にする。
Low-Rank Adaptation (LoRA) は通信コストの低さと高い性能で人気を博している。
既存の手法ではパラメータの切り離しとバイアス付き勾配更新による公式収束保証が欠如している。
論文 参考訳（メタデータ） (2025-05-24T04:12:12Z) - Decentralized Low-Rank Fine-Tuning of Large Language Models [14.75695352321115]
我々は,Low-Rank Adaptation (LoRA)に基づく大規模言語モデル(LLM)のための分散微調整アルゴリズムであるDec-LoRAを提案する。
BERT と LLaMA の実験により,Dec-LoRA は様々な条件下で集中型 LoRA に匹敵する性能を示した。
これらの結果は、分散環境におけるスケーラブルな微調整のためのDec-LoRAの可能性を強調している。
論文 参考訳（メタデータ） (2025-01-26T01:56:25Z) - SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。
既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。
クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文 参考訳（メタデータ） (2025-01-22T20:00:41Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率のよいアンサンブル手法であるLoRA-Ensembleを紹介する。
この方法は、BatchEnsembleのような最先端の暗黙のテクニックを上回るだけでなく、Explicit Ensembleの正確さにマッチするか超える。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。
本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
論文 参考訳（メタデータ） (2024-03-18T23:20:08Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。
IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-03-28T08:07:28Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。