論文の概要: FedKRSO: Communication and Memory Efficient Federated Fine-Tuning of Large Language Models

• arxiv url: http://arxiv.org/abs/2602.03019v1
• Date: Tue, 03 Feb 2026 02:39:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.198936
• Title: FedKRSO: Communication and Memory Efficient Federated Fine-Tuning of Large Language Models
• Title（参考訳）: FedKRSO: 大規模言語モデルのファインチューニングによるコミュニケーションとメモリ効率の向上
• Authors: Guohao Yang, Tongle Wu, Yuanxiong Guo, Ying Sun, Yanmin Gong,
• Abstract要約: 大規模言語モデル(LLM)の微調整は、それらをドメイン固有のタスクに適応させるのに不可欠である。 FL(Federated Learning)は、FLファインチューニングで人気を集めているが、完全なモデルパラメータを伝達するコストが高いため、依然として困難である。 本稿では,FedKRSOを提案する。フェデレーション設定におけるLLMの通信とメモリ効率向上のための新しいFedKRSOを提案する。
• 参考スコア（独自算出の注目度）: 14.208669882584482
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning is essential to adapt general-purpose large language models (LLMs) to domain-specific tasks. As a privacy-preserving framework to leverage decentralized data for collaborative model training, Federated Learning (FL) is gaining popularity in LLM fine-tuning, but remains challenging due to the high cost of transmitting full model parameters and computing full gradients on resource-constrained clients. While Parameter-Efficient Fine-Tuning (PEFT) methods are widely used in FL to reduce communication and memory costs, they often sacrifice model performance compared to FFT. This paper proposes FedKRSO (Federated $K$-Seed Random Subspace Optimization), a novel method that enables communication and memory efficient FFT of LLMs in federated settings. In FedKRSO, clients update the model within a shared set of random low-dimension subspaces generated by the server to save memory usage. Furthermore, instead of transmitting full model parameters in each FL round, clients send only the model update accumulators along the subspaces to the server, enabling efficient global model aggregation and dissemination. By using these strategies, FedKRSO can substantially reduce communication and memory overhead while overcoming the performance limitations of PEFT, closely approximating the performance of federated FFT. The convergence properties of FedKRSO are analyzed rigorously under general FL settings. Extensive experiments on the GLUE benchmark across diverse FL scenarios demonstrate that FedKRSO achieves both superior performance and low communication and memory overhead, paving the way towards on federated LLM fine-tuning at the resource-constrained edge.
• Abstract（参考訳）: 汎用大規模言語モデル(LLM)をドメイン固有のタスクに適用するには、微調整が不可欠である。 協調モデルトレーニングに分散型データを活用するためのプライバシ保護フレームワークとして、フェデレートラーニング(FL)は、LLMの微調整で人気を集めているが、完全なモデルパラメータを送信し、リソース制約のあるクライアントで完全な勾配を計算するコストが高いため、依然として困難である。 パラメータ効率の良いファインチューニング(PEFT)法はFLにおいて通信コストとメモリコストを削減するために広く用いられているが、FFTと比較してモデル性能を犠牲にすることが多い。 本稿では,FedKRSO(Federated $K$-Seed Random Subspace Optimization)を提案する。 FedKRSOでは、クライアントは、サーバが生成したランダムな低次元部分空間の共有セット内でモデルを更新し、メモリ使用量を節約する。 さらに、各FLラウンドで完全なモデルパラメータを送信する代わりに、クライアントはサブスペースに沿ったモデル更新アキュムレータのみをサーバに送信し、効率的なグローバルモデルアグリゲーションと普及を可能にします。 これらの戦略を用いることで、FedKRSOはPEFTの性能制限を克服しつつ、通信とメモリオーバーヘッドを大幅に削減し、フェデレートされたFFTの性能を密に近似することができる。 一般FL条件下でFedKRSOの収束特性を厳密に解析した。 多様なFLシナリオにわたるGLUEベンチマークの大規模な実験は、FedKRSOが優れた性能と低い通信とメモリオーバーヘッドを達成し、リソース制約されたエッジでのフェデレーションLLM微調整への道を開くことを実証している。

関連論文リスト

• Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
  大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。 既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。 本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T03:49:44Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。