Fugu-MT 論文翻訳(概要): ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning

論文の概要: ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning

arxiv url: http://arxiv.org/abs/2511.18291v1
Date: Sun, 23 Nov 2025 05:09:32 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-25 18:34:24.750849
Title: ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning
Title（参考訳）: ADF-LoRA:分散化ファインチューニングのための低ランクアグリゲーションの代替
Authors: Xiaoyu Wang, Xiaotian Li, Zhixiang Zhou, Chen Li, Yong Liu,
Abstract要約: ADF-LoRAは1ラウンド当たり1つの低ランク行列の更新を同期し、両方の行列を混合することにより、分散的伝搬下でより一貫したパラメータ状態を維持する。実験により、AFF-LoRAはより高速でスムーズな収束を実現し、タスク間で最高の平均精度を達成し、分散FLにおける既存のLoRA変異を一貫したマージンで上回っていることが示された。
参考スコア（独自算出の注目度）: 20.00589625873043
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper revisits alternating low-rank updates for federated fine-tuning and examines their behavior in decentralized federated learning (DFL). While alternating the LoRA matrices has been shown to stabilize aggregation in centralized FL, extending this mechanism to decentralized, peer-to-peer communication introduces new challenges due to phase-state mismatch and block-wise divergence across clients. We introduce ADF-LoRA, which synchronizes the update of only one low-rank matrix per round and mixes both matrices to maintain more consistent parameter states under decentralized propagation. This design preserves the cross-term suppression effect of alternating updates while improving stability in serverless topologies. We provide a convergence analysis under standard smoothness assumptions and evaluate ADF-LoRA on multiple GLUE tasks. Experiments show that ADF-LoRA achieves faster and smoother convergence and delivers the highest average accuracy across tasks, outperforming existing LoRA variants in decentralized FL by a consistent margin.
Abstract（参考訳）: 本稿では,フェデレーションファインチューニングにおける低ランク更新の交互化を再検討し,分散化フェデレーションラーニング(DFL)におけるその振る舞いについて検討する。 LoRA 行列の交互化は集中型 FL におけるアグリゲーションの安定化を図っているが、この機構を分散化されたピアツーピア通信に拡張することは、相状態のミスマッチとクライアント間のブロックワイズによる新たな課題をもたらす。 ADF-LoRAは1ラウンド当たり1つの低ランク行列の更新を同期し、両方の行列を混合することにより、分散伝搬下でより一貫したパラメータ状態を維持する。この設計は、サーバーレストポロジの安定性を改善しながら、更新の交互化による長期的な抑制効果を保っている。標準的な滑らか性仮定の下で収束解析を行い、複数のGLUEタスク上でAFD-LoRAを評価する。実験により、AFF-LoRAはより高速でスムーズな収束を実現し、タスク間で最高の平均精度を達成し、分散FLにおける既存のLoRA変異を一貫したマージンで上回っていることが示された。

関連論文リスト

Iterative Refinement of Flow Policies in Probability Space for Online Reinforcement Learning [56.47948583452555]
固定ステップのEulerスキームによるフローマッチング推論プロセスの離散化は,最適輸送から変化するJordan-Kinderlehrer-Otto原理と整合する,というキーインサイトに基づいて,SWFP(Stepwise Flow Policy)フレームワークを紹介した。 SWFPは、大域的な流れを、プロキシメート分布間の小さな漸進的な変換の列に分解する。この分解は、小さな流れブロックのカスケードを介して事前訓練された流れを微調整する効率的なアルゴリズムを導き、大きな利点をもたらす。
論文参考訳（メタデータ） (2025-10-17T07:43:51Z)
Convergence Analysis of Aggregation-Broadcast in LoRA-enabled Distributed Fine-Tuning [4.255739817172272]
フェデレートラーニング(FL)は、分散データソース間の協調モデルトレーニングを可能にする。 Low-Rank Adaptation (LoRA) は効率的な微調整法としてFLに導入された。 LoRAに更新されたローカルモデルをサーバに集約する方法は、依然として重要かつ未検討の課題である。
論文参考訳（メタデータ） (2025-08-02T12:54:17Z)
DeCAF: Decentralized Consensus-And-Factorization for Low-Rank Adaptation of Foundation Models [22.45637113673959]
Low-Rank Adaptation (LoRA)は視覚言語モデル(VLM)とLarge Language Models(LLM)を訓練するための最も効果的で、計算に難解な微調整手法の1つとして登場した。この研究は、分散化LoRAの収束率を改善し、滑らか性を確保することにより、分散化勾配SGDの速度に適合する。また,DLoRAとTSVDに基づく行列分解を統合し,コンセンサス干渉を解消する新しいアルゴリズムであるDeCAFを導入する。
論文参考訳（メタデータ） (2025-05-27T16:10:53Z)
FedHL: Federated Learning for Heterogeneous Low-Rank Adaptation via Unbiased Aggregation [6.5370850242187855]
フェデレートラーニング(FL)は、分散データソースを使用したファンデーションモデル(FM)の微調整を容易にする。 Low-Rank Adaptation (LoRA) は通信コストの低さと高い性能で人気を博している。既存の手法ではパラメータの切り離しとバイアス付き勾配更新による公式収束保証が欠如している。
論文参考訳（メタデータ） (2025-05-24T04:12:12Z)
LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [12.733972494875713]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。 LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文参考訳（メタデータ） (2024-11-22T14:19:01Z)
Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-10T18:51:53Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文参考訳（メタデータ） (2023-12-18T05:18:17Z)
DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文参考訳（メタデータ） (2023-08-16T11:22:36Z)
FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
論文参考訳（メタデータ） (2023-02-21T03:55:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。