論文の概要: FedSmoothLoRA: Toward Smoother and Faster Convergence in Federated Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2605.29460v1
• Date: Thu, 28 May 2026 06:53:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.871464
• Title: FedSmoothLoRA: Toward Smoother and Faster Convergence in Federated Low-Rank Adaptation
• Title（参考訳）: FedSmoothLoRA:Federated Low-Rank Adaptationにおけるスムーザーと高速収束に向けて
• Authors: Zehao Wang, Guanglei Yang, Yihan Zeng, Hang Xu, Hongzhi Zhang, Wangmeng Zuo, Chun-Mei Feng,
• Abstract要約: Low-Rank Adaptation (LoRA) を用いた基礎モデルのファインチューニングにより,通信コストと計算コストを削減できる。 FedAvgとLoRAの直接的な組み合わせには、3つの大きな問題がある。 我々はFedSmoothLoRAを提案する。FedSmoothLoRAは、拡張された更新空間を保存し、局所的な最適化の連続性を改善し、クライアント対応の開始状態を提供する、フェデレートされたLoRAチューニングフレームワークである。
• 参考スコア（独自算出の注目度）: 70.67537583458572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated fine-tuning of foundation models with Low-Rank Adaptation (LoRA) provides an efficient solution for reducing communication and computation costs while preserving data locality. However, the direct combination of FedAvg and LoRA suffers from three key issues: limited update space, which restricts the model's effective learning capacity; inter-round state mismatch, which disrupts cross-round local optimization continuity; and a client-agnostic starting state, which slows local convergence on clients. Although recent methods mitigate the limited update space issue by merging LoRA updates into the backbone across communication rounds, inter-round state mismatch and the client-agnostic starting state remain insufficiently addressed. To address these issues, we propose FedSmoothLoRA, a federated LoRA tuning framework that preserves the enlarged update space, improves cross-round local optimization continuity, and provides a client-aware starting state for local training. At each communication round, FedSmoothLoRA constructs the local LoRA initialization using two matrices: a Round-Matching matrix that preserves cross-round local state continuity, and a Gradient-Aligned matrix that provides client-specific optimization guidance from gradient signals estimated on local data. Together, these designs enable smoother and faster convergence. Extensive experiments on image classification and natural language generation tasks demonstrate that FedSmoothLoRA consistently outperforms existing federated LoRA tuning methods. Code: https://github.com/wangzehao0704/FedSmoothLoRA
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) を用いた基礎モデルのフェデレート微調整は、データの局所性を保ちながら、通信コストと計算コストを削減できる効率的なソリューションを提供する。 しかし、FedAvgとLoRAの直接的な組み合わせは、モデルの効果的な学習能力を制限するリミテッドアップデートスペース、局所的な局所最適化の継続性を阻害するラウンド間状態ミスマッチ、クライアントの局所収束を遅らせるクライアント非依存の開始状態の3つの主要な問題に悩まされている。 最近の方法では、LoRA更新を通信ラウンド間でバックボーンにマージすることで、限られた更新スペースの問題を軽減するが、ラウンド間のミスマッチとクライアントに依存しない起動状態は未解決のままである。 これらの問題に対処するため、我々はFedSmoothLoRAを提案する。FedSmoothLoRAは、拡張された更新空間を保存し、局所的な最適化の連続性を改善し、ローカルトレーニングのためのクライアント対応の開始状態を提供する、フェデレーション付きLoRAチューニングフレームワークである。 各通信ラウンドにおいて、FedSmoothLoRAは、2つの行列を用いてローカルLoRA初期化を構築する。 これらの設計により、より滑らかでより高速な収束が可能となる。 画像分類と自然言語生成タスクに関する大規模な実験は、FedSmoothLoRAが既存のフェデレートされたLoRAチューニング手法より一貫して優れていることを示した。 コード:https://github.com/wangzehao0704/FedSmoothLoRA

関連論文リスト

• FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA [25.49850401602623]
  Federated LoRAは、分散データ上で大きな言語モデルを微調整するための通信効率のよいメカニズムを提供する。 実際には、低いランクを維持するために使用される因子平均値と、局所的な更新の数学的に正しい集約との相違は、重大な集約エラーと不安定なトレーニングを引き起こす可能性がある。 我々は、アグリゲーションの前に変換を介してクライアント更新を調整するフレームワークであるFedRot-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-02-27T03:18:32Z)
• ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning [20.00589625873043]
  ADF-LoRAは1ラウンド当たり1つの低ランク行列の更新を同期し、両方の行列を混合することにより、分散的伝搬下でより一貫したパラメータ状態を維持する。 実験により、AFF-LoRAはより高速でスムーズな収束を実現し、タスク間で最高の平均精度を達成し、分散FLにおける既存のLoRA変異を一貫したマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2025-11-23T05:09:32Z)
• LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [12.733972494875713]
  ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。 低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。 LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2024-11-22T14:19:01Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
  フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。 これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
  論文  参考訳（メタデータ） (2023-02-21T03:55:29Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。