論文の概要: FedHL: Federated Learning for Heterogeneous Low-Rank Adaptation via Unbiased Aggregation

• arxiv url: http://arxiv.org/abs/2505.18494v1
• Date: Sat, 24 May 2025 04:12:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.459229
• Title: FedHL: Federated Learning for Heterogeneous Low-Rank Adaptation via Unbiased Aggregation
• Title（参考訳）: FedHL:Unbiased Aggregationによる不均一な低ランク適応のためのフェデレーションラーニング
• Authors: Zihao Peng, Jiandian Zeng, Boyuan Li, Guo Li, Shengbo Chen, Tian Wang,
• Abstract要約: フェデレートラーニング(FL)は、分散データソースを使用したファンデーションモデル(FM)の微調整を容易にする。 Low-Rank Adaptation (LoRA) は通信コストの低さと高い性能で人気を博している。 既存の手法ではパラメータの切り離しとバイアス付き勾配更新による公式収束保証が欠如している。
• 参考スコア（独自算出の注目度）: 6.5370850242187855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) facilitates the fine-tuning of Foundation Models (FMs) using distributed data sources, with Low-Rank Adaptation (LoRA) gaining popularity due to its low communication costs and strong performance. While recent work acknowledges the benefits of heterogeneous LoRA in FL and introduces flexible algorithms to support its implementation, our theoretical analysis reveals a critical gap: existing methods lack formal convergence guarantees due to parameter truncation and biased gradient updates. Specifically, adapting client-specific LoRA ranks necessitates truncating global parameters, which introduces inherent truncation errors and leads to subsequent inaccurate gradient updates that accumulate over training rounds, ultimately degrading performance. To address the above issues, we propose \textbf{FedHL}, a simple yet effective \textbf{Fed}erated Learning framework tailored for \textbf{H}eterogeneous \textbf{L}oRA. By leveraging the full-rank global model as a calibrated aggregation basis, FedHL eliminates the direct truncation bias from initial alignment with client-specific ranks. Furthermore, we derive the theoretically optimal aggregation weights by minimizing the gradient drift term in the convergence upper bound. Our analysis shows that FedHL guarantees $\mathcal{O}(1/\sqrt{T})$ convergence rate, and experiments on multiple real-world datasets demonstrate a 1-3\% improvement over several state-of-the-art methods.
• Abstract（参考訳）: フェデレートラーニング(FL)は、分散データソースを用いたファンデーションモデル(FM)の微調整を容易にする。 最近の研究は、FLにおけるヘテロジニアスLoRAの利点を認め、その実装をサポートするフレキシブルアルゴリズムを導入しているが、我々の理論的分析では重要なギャップが明らかになっている。 具体的には、クライアント固有のLoRAのランク付けは、固有のトランケーションエラーを導入し、トレーニングラウンドに蓄積する不正確な勾配更新を発生させ、最終的にパフォーマンスを低下させるグローバルパラメータのトランケートを必要とする。 上記の問題に対処するため, 単純だが効果的な学習フレームワークである \textbf{FedHL} を提案する。 フルランクのグローバルモデルをキャリブレーションされたアグリゲーションベースとして活用することにより、FedHLはクライアント固有のランクと最初のアライメントから直接トラクションバイアスを排除します。 さらに、収束上界における勾配ドリフト項を最小化することにより、理論上最適な凝集重みを導出する。 分析の結果、FedHLは$\mathcal{O}(1/\sqrt{T})$収束率を保証しており、複数の実世界のデータセットに対する実験では、いくつかの最先端手法よりも1～3倍改善されていることがわかった。

関連論文リスト

• Efficient Federated Class-Incremental Learning of Pre-Trained Models via Task-agnostic Low-rank Residual Adaptation [22.454292668849035]
  Fed-TaLoRA(Federated Task-Agnostic Low-rank Residual Adaptation) 我々は,最小限のオーバーヘッドで正確な知識統合を実現するための,新たな残量更新機構を開発した。 我々の方法論的革新は,タスク非依存適応,ポストアグリゲーションモデル校正,LORAモジュールの戦略的配置の3つの主要な戦略に起因している。
  論文  参考訳（メタデータ） (2025-05-18T09:19:13Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• FedEx-LoRA: Exact Aggregation for Federated and Efficient Fine-Tuning of Foundation Models [5.1613368481802455]
  Low-Rank Adaptation (LoRA) は基礎モデルの効率的な微調整技術として人気がある。 凍結重量行列に残留誤差項を追加するFederated Exact LoRA(FedEx-LoRA)を提案する。 提案手法は,LoRAの効率を保ちながら,計算と通信のオーバーヘッドを最小限に抑えた正確な更新を実現する。
  論文  参考訳（メタデータ） (2024-10-12T08:22:44Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• FedHPL: Efficient Heterogeneous Federated Learning with Prompt Tuning and Logit Distillation [32.305134875959226]
  フェデレートラーニング(FL)は、分散クライアントが中央サーバーでモデルを協調訓練できるプライバシー保護パラダイムである。 我々はパラメータ効率の高い$textbfFed$erated Learning framework for $textbfH$eterogeneous settingsを提案する。 我々のフレームワークは最先端のFLアプローチより優れており、オーバーヘッドもトレーニングラウンドも少なくなっている。
  論文  参考訳（メタデータ） (2024-05-27T15:25:32Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Federated Learning with Label Distribution Skew via Logits Calibration [26.98248192651355]
  本稿では,FLにおけるラベル分布スキューについて検討する。 本稿では,各クラスの発生確率に応じて,ソフトマックスクロスエントロピー前のロジットを校正するFedLCを提案する。 フェデレーションデータセットと実世界のデータセットの実験は、FedLCがより正確なグローバルモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2022-09-01T02:56:39Z)
• $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
  フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。 本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。 私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
  論文  参考訳（メタデータ） (2022-06-22T02:42:04Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。