論文の概要: Rethinking LoRA for Data Heterogeneous Federated Learning: Subspace and State Alignment

• arxiv url: http://arxiv.org/abs/2602.01746v1
• Date: Mon, 02 Feb 2026 07:27:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.977829
• Title: Rethinking LoRA for Data Heterogeneous Federated Learning: Subspace and State Alignment
• Title（参考訳）: データ不均一なフェデレーション学習のためのLoRAの再考:サブスペースと状態アライメント
• Authors: Hongyi Peng, Han Yu, Xiaoxiao Li, Qiang Yang,
• Abstract要約: 本稿では,クライアント側GaLoreスタイルの勾配-部分空間最適化とサーバ側ドリフト-ロバスト同期を組み合わせたFedGaLoreを提案する。 NLU、ビジョン、NLGベンチマーク全体において、FedGaLoreは、非IID設定における最先端のフェデレーションLoRAベースラインに対する堅牢性と正確性を改善する。
• 参考スコア（独自算出の注目度）: 45.726776332713136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) is widely used for federated fine-tuning. Yet under non-IID settings, it can substantially underperform full-parameter fine-tuning. Through with-high-probability robustness analysis, we uncover that this gap can be attributed to two coupled mismatches: (i) update-space mismatch, where clients optimize in a low-rank subspace but aggregation occurs in the full space; and (ii) optimizer-state mismatch, where unsynchronized adaptive states amplify drift across rounds. We propose FedGaLore, which combines client-side GaLore-style gradient-subspace optimization with server-side drift-robust synchronization of projected second-moment states via spectral shared-signal extraction, to address this challenge. Across NLU, vision, and NLG benchmarks, FedGaLore improves robustness and accuracy over state-of-the-art federated LoRA baselines in non-IID settings.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は連邦微調整に広く用いられている。 しかし、IID以外の設定では、フルパラメータの微調整が大幅に低下する可能性がある。 高確率ロバスト性解析により、このギャップが2つの結合ミスマッチに起因することが判明した。 i) クライアントが低ランクのサブスペースで最適化する更新スペースミスマッチ。ただし、全スペースでアグリゲーションが発生する。 (II)非同期適応状態がラウンド間のドリフトを増幅するオプティマイザ状態ミスマッチ。 本稿では,クライアント側GaLoreスタイルの勾配-部分空間最適化と,スペクトル共有信号抽出による第2モーメント状態のサーバ側ドリフト-ロバスト同期を組み合わせたFedGaLoreを提案する。 NLU、ビジョン、NLGベンチマーク全体において、FedGaLoreは、非IID設定における最先端のフェデレーションLoRAベースラインに対する堅牢性と正確性を改善する。

関連論文リスト

• ILoRA: Federated Learning with Low-Rank Adaptation for Heterogeneous Client Aggregation [15.926254171159146]
  3つのコアイノベーションを統合する統合フレームワークであるILoRAを提案する。 ILoRA は既存の連合 LoRA 法よりも精度と収束安定性が優れている。
  論文  参考訳（メタデータ） (2025-11-20T05:59:37Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Towards Robust and Efficient Federated Low-Rank Adaptation with Heterogeneous Clients [6.570712059945705]
  低ランク適応(LoRA)は解法として提案されているが、連合学習におけるその応用は集約の不一致によって複雑である。 この不一致に対処する既存の手法は、不均一なデータ設定で低いランクでの性能劣化に悩まされることが多い。 LoRA-A$2$を導入し、低いランクと高いデータ不均一性を持つ挑戦的な設定において堅牢性を示す。
  論文  参考訳（メタデータ） (2024-10-30T08:48:21Z)
• Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models [20.707283766914017]
  HetLoRAはクライアントデバイス間での不均一なランク付けを可能にし、これらの不均一なLoRAモジュールを効率的に集約し、配布する。 HetLoRAは同種LoRAに比べて収束速度と最終性能が向上する。
  論文  参考訳（メタデータ） (2024-01-12T07:52:07Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• Higher Performance Visual Tracking with Dual-Modal Localization [106.91097443275035]
  Visual Object Tracking (VOT)は、堅牢性と正確性の両方に同期性を必要とする。 ONRによるロバストなローカリゼーション抑制器とOFCによるターゲットセンターへの正確なローカリゼーションにより、ターゲットローカリゼーションのためのデュアルモーダルフレームワークを提案します。
  論文  参考訳（メタデータ） (2021-03-18T08:47:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。