論文の概要: FedRPCA: Enhancing Federated LoRA Aggregation Using Robust PCA

• arxiv url: http://arxiv.org/abs/2506.01194v1
• Date: Sun, 01 Jun 2025 22:07:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.26346
• Title: FedRPCA: Enhancing Federated LoRA Aggregation Using Robust PCA
• Title（参考訳）: FedRPCA:ロバストPCAを使用したフェデレーションLoRAアグリゲーションの強化
• Authors: Divyansh Jhunjhunwala, Arian Raje, Madan Ravi Ganesh, Chaithanya Kumar Mummadi, Chaoqun Dong, Jiawei Zhou, Wan-Yi Lin, Gauri Joshi, Zhenzhen Li,
• Abstract要約: LoRAは、特に連合学習において、最も有望な微調整技法の1つとして登場した。 FedAvgに基づく従来のアグリゲーション戦略は、緩やかな収束と準最適精度に悩まされている。 我々は、スケールド平均化を用いてクライアントLoRAパラメータを集約するFedRPCAを提案する。
• 参考スコア（独自算出の注目度）: 24.2065607559858
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: LoRA has emerged as one of the most promising fine-tuning techniques, especially for federated learning (FL), since it significantly reduces communication and computation costs at resource-constrained clients. However, data heterogeneity remains a significant challenge for LoRA-based FL, and the conventional aggregation strategy based on FedAvg suffers from slow convergence and suboptimal accuracy. Motivated by recent advances in model merging, particularly Task Arithmetic, we explore the idea of aggregating client LoRA parameters using scaled averaging. We first observe that a naive application of Task Arithmetic is ineffective due to the high cosine similarity between client updates, indicating significant common knowledge in the updates across clients. To address this issue, we propose decomposing client LoRA updates via Robust Principal Component Analysis (Robust-PCA) into a common low-rank component and client-specific sparse components. Our proposed algorithm FedRPCA aggregates the low-rank components through averaging, consolidating common knowledge, and applies scaled averaging to the sparse components to amplify client-specific knowledge. We evaluate our approach across a variety of vision and language tasks and demonstrate that it achieves higher final accuracy and faster convergence compared to competing baselines.
• Abstract（参考訳）: LoRAは、特にFL(Federated Learning)において、リソース制約のあるクライアントでの通信と計算コストを大幅に削減するため、最も有望な微調整手法の1つとして登場した。 しかし、データの不均一性は、LoRAベースのFLにとって重要な課題であり、FedAvgに基づく従来の集約戦略は、収束が遅く、最適下限の精度に悩まされている。 モデルマージ,特にTask Arithmeticの最近の進歩に触発された我々は,スケールド平均化を用いてクライアントLoRAパラメータを集約するというアイデアを探求する。 まず、クライアント更新間のコサインの類似性が高く、クライアント間の更新において大きな共通知識が示されるため、タスク算術の素早い適用が有効でないことを観察する。 この問題に対処するため,ロバスト主成分分析(Robust-PCA)によるクライアントLoRA更新を,共通低ランクコンポーネントとクライアント固有のスパースコンポーネントに分解する手法を提案する。 提案するアルゴリズムであるFedRPCAは, 平均化, 共通知識の統合により, 低ランクなコンポーネントを集約し, スパースコンポーネントに拡張平均化を適用して, クライアント固有の知識を増幅する。 様々なビジョンや言語タスクにまたがるアプローチを評価し、競合するベースラインと比較して、最終的な精度とより高速な収束を実現することを実証する。

関連論文リスト

• Communication-Efficient and Personalized Federated Foundation Model Fine-Tuning via Tri-Matrix Adaptation [47.82423317739088]
  本稿では, パーソナライズされたモデルパラメータアグリゲーションを用いた三要素化低ランク適応手法である通信効率のフェデレーションLoRA適応(CE-LoRA)を提案する。 各種LLMおよびVLM微調整タスクの実験により、CE-LoRAは通信オーバーヘッドを著しく低減するだけでなく、独立で同一の分散データ条件下での性能も向上することが示された。
  論文  参考訳（メタデータ） (2025-03-31T09:18:42Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity [12.515874333424929]
  クライアント間の不均一なランクが不安定なパフォーマンスにつながることを観察する。 この不安定性は従来のゼロ・パディング・アグリゲーション・ストラテジーに起因している。 高品質なデータを持つクライアントからの貴重な情報をよりよく保持するレプリケーションベースのパディング戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-25T11:49:33Z)
• FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
  フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。 我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。 我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
  論文  参考訳（メタデータ） (2024-05-20T06:12:33Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Federated Learning under Heterogeneous and Correlated Client Availability [10.05687757555923]
  本稿では,FedAvg-like FLアルゴリズムに対する不均一かつ相関のあるクライアント可用性下での最初の収束解析について述べる。 本稿では,収束速度の最大化とモデルバイアスの最小化という相反する目標のバランスをとろうとする新しいFLアルゴリズムCA-Fedを提案する。 実験の結果,CA-Fedは最先端のAdaFedやF3ASTよりも時間平均精度が高く,標準偏差も低いことがわかった。
  論文  参考訳（メタデータ） (2023-01-11T18:38:48Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Robust Quantity-Aware Aggregation for Federated Learning [72.59915691824624]
  悪意のあるクライアントは、モデル更新を害し、モデルアグリゲーションにおけるモデル更新の影響を増幅するために大量の要求を行う。 FLの既存の防御メソッドは、悪意のあるモデル更新を処理する一方で、すべての量の良性を扱うか、単にすべてのクライアントの量を無視/停止するだけである。 本稿では,フェデレーション学習のためのロバストな量認識アグリゲーションアルゴリズムであるFedRAを提案し,局所的なデータ量を認識してアグリゲーションを行う。
  論文  参考訳（メタデータ） (2022-05-22T15:13:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。