論文の概要: Preventing Rank Collapse in Federated Low-Rank Adaptation with Client Heterogeneity

• arxiv url: http://arxiv.org/abs/2602.13486v1
• Date: Fri, 13 Feb 2026 21:42:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.112979
• Title: Preventing Rank Collapse in Federated Low-Rank Adaptation with Client Heterogeneity
• Title（参考訳）: クライアント不均一性を考慮したフェデレーション低ランク適応におけるランク崩壊防止
• Authors: Fei Wu, Jia Hu, Geyong Min, Shiqiang Wang,
• Abstract要約: フェデレートされた低ランク適応(FedLoRA)は、下流タスクのための基礎モデルの通信効率とプライバシー保護の微調整を促進する。 我々は異種FedLoRAにおいてこれまで見過ごされていた現象をランク崩壊と呼び、グローバル更新のエネルギーは最小共有ランクに集中する。 本稿では,局所的な更新をランク分割に分解し,各パーティションをその効果的なクライアントコントリビューションに重み付けして集約するランク分割集約手法であるraFLoRAを提案する。
• 参考スコア（独自算出の注目度）: 43.719298075378425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated low-rank adaptation (FedLoRA) has facilitated communication-efficient and privacy-preserving fine-tuning of foundation models for downstream tasks. In practical federated learning scenarios, client heterogeneity in system resources and data distributions motivates heterogeneous LoRA ranks across clients. We identify a previously overlooked phenomenon in heterogeneous FedLoRA, termed rank collapse, where the energy of the global update concentrates on the minimum shared rank, resulting in suboptimal performance and high sensitivity to rank configurations. Through theoretical analysis, we reveal the root cause of rank collapse: a mismatch between rank-agnostic aggregation weights and rank-dependent client contributions, which systematically suppresses higher-rank updates at a geometric rate over rounds. Motivated by this insight, we propose raFLoRA, a rank-partitioned aggregation method that decomposes local updates into rank partitions and then aggregates each partition weighted by its effective client contributions. Extensive experiments across classification and reasoning tasks show that raFLoRA prevents rank collapse, improves model performance, and preserves communication efficiency compared to state-of-the-art FedLoRA baselines.
• Abstract（参考訳）: フェデレートされた低ランク適応(FedLoRA)は、下流タスクのための基礎モデルの通信効率とプライバシー保護の微調整を促進する。 実践的なフェデレート学習シナリオでは、システムリソースとデータ分散におけるクライアントの不均一性は、クライアント間の不均一なLoRAランクを動機付けます。 異種FedLoRAにおける従来見過ごされていた現象はランク崩壊と呼ばれ、グローバル更新のエネルギーは最小共有ランクに集中し、最適化性能とランク構成に対する感度が高い。 理論解析により,ランク非依存の集約重みとランク依存のクライアントコントリビューションのミスマッチが,ラウンド上の幾何速度で高階更新を体系的に抑制する,ランク崩壊の根本原因を明らかにする。 この知見に触発されたRaFLoRAは、局所的な更新をランク分割に分解し、各パーティションをその効果的なクライアントコントリビューションによって重み付けするランク分割集約手法である。 分類と推論タスクにわたる広範囲な実験により、raFLoRAはランク崩壊を防ぎ、モデル性能を改善し、最先端のFedLoRAベースラインと比較して通信効率を保ちます。

関連論文リスト

• ILoRA: Federated Learning with Low-Rank Adaptation for Heterogeneous Client Aggregation [15.926254171159146]
  3つのコアイノベーションを統合する統合フレームワークであるILoRAを提案する。 ILoRA は既存の連合 LoRA 法よりも精度と収束安定性が優れている。
  論文  参考訳（メタデータ） (2025-11-20T05:59:37Z)
• Class-wise Balancing Data Replay for Federated Class-Incremental Learning [49.179631011790065]
  FCIL(Federated Class Incremental Learning)のためのクラスワイドバランスデータ再生手法を提案する。 1)グローバル・パースペクティブ・データ・リプレイ・モジュールは,事前タスクのグローバルな表現をプライバシ保護方式で再構築し,その上で,クラス認識と重要度に敏感なサンプリング戦略を指導し,バランスの取れたリプレイを実現する。2)タスク間のクラス不均衡を処理するために,タスク対応温度スケーリングモジュールは,タスクダイナミクスに基づくクラスとインスタンスレベルのロジットの温度を適応的に調整し,多数クラスに対するモデルの過度さを低減し,マイノリティクラスへの感受性を高める。
  論文  参考訳（メタデータ） (2025-07-10T12:46:31Z)
• Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
  Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。 現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。 本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
  論文  参考訳（メタデータ） (2025-06-30T23:54:23Z)
• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• FedHL: Federated Learning for Heterogeneous Low-Rank Adaptation via Unbiased Aggregation [6.5370850242187855]
  フェデレートラーニング(FL)は、分散データソースを使用したファンデーションモデル(FM)の微調整を容易にする。 Low-Rank Adaptation (LoRA) は通信コストの低さと高い性能で人気を博している。 既存の手法ではパラメータの切り離しとバイアス付き勾配更新による公式収束保証が欠如している。
  論文  参考訳（メタデータ） (2025-05-24T04:12:12Z)
• Communication-Efficient Federated Low-Rank Update Algorithm and its Connection to Implicit Regularization [11.955062839855334]
  フェデレートラーニング(FL)は、コミュニケーション効率と不均一性に関連する重要な課題に直面している。 我々はフェデレート学習のための一般的な低ランク更新フレームワークであるFedLoRUを提案する。 我々のフレームワークは、低ランククライアント側の更新を強制し、これらの更新を蓄積して高ランクモデルを作成します。
  論文  参考訳（メタデータ） (2024-09-19T00:11:58Z)
• Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity [12.515874333424929]
  クライアント間の不均一なランクが不安定なパフォーマンスにつながることを観察する。 この不安定性は従来のゼロ・パディング・アグリゲーション・ストラテジーに起因している。 高品質なデータを持つクライアントからの貴重な情報をよりよく保持するレプリケーションベースのパディング戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-25T11:49:33Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。