論文の概要: FedSRD: Sparsify-Reconstruct-Decompose for Communication-Efficient Federated Large Language Models Fine-Tuning

• arxiv url: http://arxiv.org/abs/2510.04601v1
• Date: Mon, 06 Oct 2025 09:06:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.763551
• Title: FedSRD: Sparsify-Reconstruct-Decompose for Communication-Efficient Federated Large Language Models Fine-Tuning
• Title（参考訳）: FedSRD: コミュニケーション効率の良いFederated Large Language Modelsファインチューニングのためのスパースフィケーション-再構成-分解
• Authors: Guochen Yan, Luyuan Xie, Qingni Shen, Yuejian Fang, Zhonghai Wu,
• Abstract要約: フェデレートラーニング(FL)は、分散Web上の次世代AIのための実践的なソリューションとして現れます。 Low-Rank Adaptation (LoRA) は効率的な微調整の標準である。 本稿では,通信効率のよいFLを設計したsprsify-Reconstruct-DecomposeフレームワークであるFedSRDを提案する。
• 参考スコア（独自算出の注目度）: 25.946691022370146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The current paradigm of training large language models (LLMs) on publicly available Web data is becoming unsustainable, with high-quality data sources in specialized domains nearing exhaustion. Federated Learning (FL) emerges as a practical solution for the next generation of AI on a decentralized Web, enabling privacy-preserving collaborative fine-tuning by leveraging private data distributed across a global client base. While Low-Rank Adaptation (LoRA) is the standard for efficient fine-tuning, its application in federated settings presents a critical challenge: communication overhead remains a significant bottleneck across the Web's heterogeneous network conditions. The structural redundancy within LoRA parameters not only incurs a heavy communication burden but also introduces conflicts when aggregating client updates. To address this, we propose FedSRD, a Sparsify-Reconstruct-Decompose framework designed for communication-efficient FL. We first introduce an importance-aware sparsification method that preserves the structural integrity of LoRA updates to reduce the uploaded parameter count. The server then reconstructs and aggregates these updates in a full-rank space to mitigate conflicts. Finally, it decomposes the global update into a sparse low-rank format for broadcast, ensuring a symmetrically efficient cycle. We also propose an efficient variant, FedSRD-e, to reduce computational overhead. Experimental results on 10 benchmarks demonstrate that our framework significantly reduces communication costs by up to 90\% while even improving model performance on heterogeneous client data.
• Abstract（参考訳）: 一般公開されたWebデータ上での大規模言語モデル(LLM)のトレーニングの現在のパラダイムは持続不可能なものになりつつある。 フェデレートラーニング(FL)は、分散Web上の次世代AIのための実用的なソリューションとして登場し、グローバルクライアントベースに分散したプライベートデータを活用することにより、プライバシ保護による協調的な微調整を可能にする。 Low-Rank Adaptation (LoRA) は効率的な微調整の標準であるが、フェデレートされた設定での応用は重要な課題である。 LoRAパラメータ内の構造的冗長性は、通信負荷の重いだけでなく、クライアント更新の集約時の競合も引き起こす。 そこで本稿では,通信効率のよいFLを設計したsprsify-Reconstruct-DecomposeフレームワークであるFedSRDを提案する。 まず,LoRA更新の構造的整合性を保ち,アップロードしたパラメータ数を削減できる重要なスペーシフィケーション手法を提案する。 サーバは、コンフリクトを軽減するために、これらの更新をフルランクのスペースに再構築して集約する。 最後に、グローバルアップデートを放送用の疎低ランクフォーマットに分解し、対称的に効率的なサイクルを保証する。 また,計算オーバーヘッドを低減するため,効率的なFedSRD-eを提案する。 10のベンチマークによる実験結果から,不均一なクライアントデータのモデル性能を向上しつつ,通信コストを最大90%削減できることがわかった。

関連論文リスト

• FLoRIST: Singular Value Thresholding for Efficient and Accurate Federated Fine-Tuning of Large Language Models [2.555222031881788]
  FLoRISTは、高い通信や計算オーバーヘッドを発生させることなく、数学的に正確なアグリゲーションを実現するファインチューニングフレームワークである。 サーバ側最適ランク選択のための可変特異値しきい値を導入し、全クライアントが共有するグローバルローランクアダプタのペアを構築する。
  論文  参考訳（メタデータ） (2025-06-10T19:36:36Z)
• AFLoRA: Adaptive Federated Fine-Tuning of Large Language Models with Resource-Aware Low-Rank Adaption [3.805501490912696]
  フェデレートされた微調整は、分散データを使用して下流タスクにファンデーションモデルを適用するための有望なアプローチとして現れている。 大規模言語モデルのための適応的で軽量なファインチューニングフレームワークであるAFLoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-30T16:35:32Z)
• LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [5.162783756846019]
  ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。 低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。 LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2024-11-22T14:19:01Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models [54.02863371927658]
  大規模言語モデル(LLM)は多くの現実世界のアプリケーションで必須となっている。 Ferretは、LLMのスケーラブルなフルパラメータチューニングを実現するために、ランダム性を共有する最初の一階法である。 フェレットは高い計算効率、通信オーバーヘッドの低減、高速収束を実現する。
  論文  参考訳（メタデータ） (2024-09-10T07:28:13Z)
• Communication-Efficient Federated Knowledge Graph Embedding with Entity-Wise Top-K Sparsification [49.66272783945571]
  Federated Knowledge Graphs Embedding Learning (FKGE)は、パラメータのかなりのサイズと広範なコミュニケーションラウンドから生じるコミュニケーション効率の課題に直面する。 本稿では,Entity-Wise Top-K Sparsification 戦略に基づく双方向通信効率のFedSを提案する。
  論文  参考訳（メタデータ） (2024-06-19T05:26:02Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• PS-FedGAN: An Efficient Federated Learning Framework Based on Partially Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
  分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。 本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。 PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
  論文  参考訳（メタデータ） (2023-05-19T05:39:40Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。