論文の概要: DeCAF: Decentralized Consensus-And-Factorization for Low-Rank Adaptation of Foundation Models

• arxiv url: http://arxiv.org/abs/2505.21382v1
• Date: Tue, 27 May 2025 16:10:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.79038
• Title: DeCAF: Decentralized Consensus-And-Factorization for Low-Rank Adaptation of Foundation Models
• Title（参考訳）: DeCAF: ファンデーションモデルの低ランク適応のための分散コンセンサス・アンド・ファクタ化
• Authors: Nastaran Saadati, Zhanhong Jiang, Joshua R. Waite, Shreyan Ganguly, Aditya Balu, Chinmay Hegde, Soumik Sarkar,
• Abstract要約: Low-Rank Adaptation (LoRA)は視覚言語モデル(VLM)とLarge Language Models(LLM)を訓練するための最も効果的で、計算に難解な微調整手法の1つとして登場した。 この研究は、分散化LoRAの収束率を改善し、滑らか性を確保することにより、分散化勾配SGDの速度に適合する。 また,DLoRAとTSVDに基づく行列分解を統合し,コンセンサス干渉を解消する新しいアルゴリズムであるDeCAFを導入する。
• 参考スコア（独自算出の注目度）: 22.45637113673959
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) has emerged as one of the most effective, computationally tractable fine-tuning approaches for training Vision-Language Models (VLMs) and Large Language Models (LLMs). LoRA accomplishes this by freezing the pre-trained model weights and injecting trainable low-rank matrices, allowing for efficient learning of these foundation models even on edge devices. However, LoRA in decentralized settings still remains under explored, particularly for the theoretical underpinnings due to the lack of smoothness guarantee and model consensus interference (defined formally below). This work improves the convergence rate of decentralized LoRA (DLoRA) to match the rate of decentralized SGD by ensuring gradient smoothness. We also introduce DeCAF, a novel algorithm integrating DLoRA with truncated singular value decomposition (TSVD)-based matrix factorization to resolve consensus interference. Theoretical analysis shows TSVD's approximation error is bounded and consensus differences between DLoRA and DeCAF vanish as rank increases, yielding DeCAF's matching convergence rate. Extensive experiments across vision/language tasks demonstrate our algorithms outperform local training and rivals federated learning under both IID and non-IID data distributions.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は視覚言語モデル(VLM)とLarge Language Models(LLM)のトレーニングにおいて、最も効果的で、計算に追従可能な微調整手法の1つとして登場した。 LoRAはトレーニング済みのモデルウェイトを凍結し、トレーニング可能な低ランク行列を注入することで、エッジデバイス上でもこれらの基礎モデルの効率的な学習を可能にする。 しかし、分散環境でのLoRAは、スムーズ性保証の欠如とモデルコンセンサス干渉(後述)のため、特に理論的基盤として検討が続けられている。 この研究は、分散化LoRA(DLoRA)の収束率を改善し、勾配の滑らかさを確保することにより、分散化SGDの速度に適合する。 また,DLoRAとTSVDに基づく行列分解を統合し,コンセンサス干渉を解消する新しいアルゴリズムであるDeCAFを導入する。 理論的解析により、TSVDの近似誤差は有界であり、DLoRAとDeCAFのコンセンサス差はランクが増加するにつれて消失し、DeCAFの一致収束率が得られる。 視覚/言語タスクにわたる大規模な実験により、我々のアルゴリズムは局所的なトレーニングよりも優れており、IIDと非IIDデータ分散の両方の下でのフェデレーション学習に匹敵する。

関連論文リスト

• Rethinking LoRA for Privacy-Preserving Federated Learning in Large Models [14.755143405057929]
  差分プライベートラーニング(DPFL)の下での微調整大型ビジョンモデル(LVM)と大規模言語モデル(LLM)は、基本的なプライバシーとユーティリティのトレードオフによって妨げられる。 Low-Rank Adaptation (LoRA)はPEFT法であり、トレーニング可能な2つの低ランク行列を導入し、事前訓練した重みを凍結することにより、計算と通信のコストを削減する。 LA-LoRAは、勾配の相互作用を分離し、クライアント間で更新方向を調整し、厳密なプライバシー制約の下で堅牢性を高める新しいアプローチである。
  論文  参考訳（メタデータ） (2026-02-23T15:05:28Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• Stabilizing Decentralized Federated Fine-Tuning via Topology-Aware Alternating LoRA [20.00589625873043]
  textttTAD-LoRAは、フェデレーション学習のサーバレス版である。 我々は, TextttTAD-LoRA が強い連結トポロジにおいて競合し, 適度かつ弱い連結トポロジの下で明確なゲインをもたらすことを示す。
  論文  参考訳（メタデータ） (2026-01-31T01:57:53Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Consolidation or Adaptation? PRISM: Disentangling SFT and RL Data via Gradient Concentration [56.074760766965085]
  PRISMは、モデルの既存の知識との認知的対立度に基づいてデータを調停する動的認識フレームワークを実現する。 この結果から,内部最適化方式に基づくデータ分離が,スケーラブルでロバストなエージェントアライメントに不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-12T05:43:20Z)
• ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning [20.00589625873043]
  ADF-LoRAは1ラウンド当たり1つの低ランク行列の更新を同期し、両方の行列を混合することにより、分散的伝搬下でより一貫したパラメータ状態を維持する。 実験により、AFF-LoRAはより高速でスムーズな収束を実現し、タスク間で最高の平均精度を達成し、分散FLにおける既存のLoRA変異を一貫したマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2025-11-23T05:09:32Z)
• Convergence Analysis of Aggregation-Broadcast in LoRA-enabled Federated Learning [4.947778455281166]
  フェデレートラーニング(FL)は、分散データソース間の協調モデルトレーニングを可能にする。 Low-Rank Adaptation (LoRA) は効率的な微調整法としてFLに導入された。 LoRAに更新されたローカルモデルをサーバに集約する方法は、依然として重要かつ未検討の課題である。
  論文  参考訳（メタデータ） (2025-08-02T12:54:17Z)
• FedHL: Federated Learning for Heterogeneous Low-Rank Adaptation via Unbiased Aggregation [6.5370850242187855]
  フェデレートラーニング(FL)は、分散データソースを使用したファンデーションモデル(FM)の微調整を容易にする。 Low-Rank Adaptation (LoRA) は通信コストの低さと高い性能で人気を博している。 既存の手法ではパラメータの切り離しとバイアス付き勾配更新による公式収束保証が欠如している。
  論文  参考訳（メタデータ） (2025-05-24T04:12:12Z)
• Decentralized Low-Rank Fine-Tuning of Large Language Models [14.75695352321115]
  我々は,Low-Rank Adaptation (LoRA)に基づく大規模言語モデル(LLM)のための分散微調整アルゴリズムであるDec-LoRAを提案する。 BERT と LLaMA の実験により,Dec-LoRA は様々な条件下で集中型 LoRA に匹敵する性能を示した。 これらの結果は、分散環境におけるスケーラブルな微調整のためのDec-LoRAの可能性を強調している。
  論文  参考訳（メタデータ） (2025-01-26T01:56:25Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率のよいアンサンブル手法であるLoRA-Ensembleを紹介する。 この方法は、BatchEnsembleのような最先端の暗黙のテクニックを上回るだけでなく、Explicit Ensembleの正確さにマッチするか超える。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
  ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。 本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-03-18T23:20:08Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
  我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。 IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-28T08:07:28Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。