論文の概要: FedKRSO: Communication and Memory Efficient Federated Fine-Tuning of Large Language Models

• arxiv url: http://arxiv.org/abs/2602.03019v1
• Date: Tue, 03 Feb 2026 02:39:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.198936
• Title: FedKRSO: Communication and Memory Efficient Federated Fine-Tuning of Large Language Models
• Title（参考訳）: FedKRSO: 大規模言語モデルのファインチューニングによるコミュニケーションとメモリ効率の向上
• Authors: Guohao Yang, Tongle Wu, Yuanxiong Guo, Ying Sun, Yanmin Gong,
• Abstract要約: 大規模言語モデル(LLM)の微調整は、それらをドメイン固有のタスクに適応させるのに不可欠である。 FL(Federated Learning)は、FLファインチューニングで人気を集めているが、完全なモデルパラメータを伝達するコストが高いため、依然として困難である。 本稿では,FedKRSOを提案する。フェデレーション設定におけるLLMの通信とメモリ効率向上のための新しいFedKRSOを提案する。
• 参考スコア（独自算出の注目度）: 14.208669882584482
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning is essential to adapt general-purpose large language models (LLMs) to domain-specific tasks. As a privacy-preserving framework to leverage decentralized data for collaborative model training, Federated Learning (FL) is gaining popularity in LLM fine-tuning, but remains challenging due to the high cost of transmitting full model parameters and computing full gradients on resource-constrained clients. While Parameter-Efficient Fine-Tuning (PEFT) methods are widely used in FL to reduce communication and memory costs, they often sacrifice model performance compared to FFT. This paper proposes FedKRSO (Federated $K$-Seed Random Subspace Optimization), a novel method that enables communication and memory efficient FFT of LLMs in federated settings. In FedKRSO, clients update the model within a shared set of random low-dimension subspaces generated by the server to save memory usage. Furthermore, instead of transmitting full model parameters in each FL round, clients send only the model update accumulators along the subspaces to the server, enabling efficient global model aggregation and dissemination. By using these strategies, FedKRSO can substantially reduce communication and memory overhead while overcoming the performance limitations of PEFT, closely approximating the performance of federated FFT. The convergence properties of FedKRSO are analyzed rigorously under general FL settings. Extensive experiments on the GLUE benchmark across diverse FL scenarios demonstrate that FedKRSO achieves both superior performance and low communication and memory overhead, paving the way towards on federated LLM fine-tuning at the resource-constrained edge.
• Abstract（参考訳）: 汎用大規模言語モデル(LLM)をドメイン固有のタスクに適用するには、微調整が不可欠である。 協調モデルトレーニングに分散型データを活用するためのプライバシ保護フレームワークとして、フェデレートラーニング(FL)は、LLMの微調整で人気を集めているが、完全なモデルパラメータを送信し、リソース制約のあるクライアントで完全な勾配を計算するコストが高いため、依然として困難である。 パラメータ効率の良いファインチューニング(PEFT)法はFLにおいて通信コストとメモリコストを削減するために広く用いられているが、FFTと比較してモデル性能を犠牲にすることが多い。 本稿では,FedKRSO(Federated $K$-Seed Random Subspace Optimization)を提案する。 FedKRSOでは、クライアントは、サーバが生成したランダムな低次元部分空間の共有セット内でモデルを更新し、メモリ使用量を節約する。 さらに、各FLラウンドで完全なモデルパラメータを送信する代わりに、クライアントはサブスペースに沿ったモデル更新アキュムレータのみをサーバに送信し、効率的なグローバルモデルアグリゲーションと普及を可能にします。 これらの戦略を用いることで、FedKRSOはPEFTの性能制限を克服しつつ、通信とメモリオーバーヘッドを大幅に削減し、フェデレートされたFFTの性能を密に近似することができる。 一般FL条件下でFedKRSOの収束特性を厳密に解析した。 多様なFLシナリオにわたるGLUEベンチマークの大規模な実験は、FedKRSOが優れた性能と低い通信とメモリオーバーヘッドを達成し、リソース制約されたエッジでのフェデレーションLLM微調整への道を開くことを実証している。

関連論文リスト

• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• GradualDiff-Fed: A Federated Learning Specialized Framework for Large Language Model [0.0]
  大規模言語モデル(LLM)用に明示的に設計されたFLフレームワークであるGradualDiff-Fedを紹介する。 GradualDiff-Fedは、トレーニングラウンド中のモデル全体ではなく、モデルウェイトの違いだけを送信することで、通信コストを削減する。 評価の結果,GradualDiff-Fedは集中訓練と同等の性能を示し,通信オーバーヘッドを大幅に削減した。
  論文  参考訳（メタデータ） (2025-06-23T22:03:21Z)
• Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models [24.07770417615704]
  大規模言語モデルの適応手法であるFedTTとFedTT+を紹介する。 FedTTは汎用的で、クロスサイロFLと大規模クロスデバイスFLの両方に適用できる。 提案手法は,データ不均一性の問題に対処し,既存のPEFT手法よりも同等あるいはそれ以上の精度で処理する。
  論文  参考訳（メタデータ） (2024-10-16T23:50:39Z)
• Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models [54.02863371927658]
  大規模言語モデル(LLM)は多くの現実世界のアプリケーションで必須となっている。 Ferretは、LLMのスケーラブルなフルパラメータチューニングを実現するために、ランダム性を共有する最初の一階法である。 フェレットは高い計算効率、通信オーバーヘッドの低減、高速収束を実現する。
  論文  参考訳（メタデータ） (2024-09-10T07:28:13Z)
• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [65.04475956174959]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLにおける重要な課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータの敵ジャミングに対する感受性である。 本稿では,無線ネットワーク上での大規模言語モデル (LLM) と視覚言語モデル (VLM) を用いたレジリエンスSFLのための物理層フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
  大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。 既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。 本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T03:49:44Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• FedBPT: Efficient Federated Black-box Prompt Tuning for Large Language Models [22.29061931122386]
  プレトレーニング言語モデル (PLM) はNLPのランドスケープに革命をもたらし、様々なタスクで星間パフォーマンスを実現している。 本稿では,これらの課題に対処するためのフレームワークであるFederated Black-box Prompt Tuning(FedBPT)を紹介する。
  論文  参考訳（メタデータ） (2023-10-02T16:43:14Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。