論文の概要: GradualDiff-Fed: A Federated Learning Specialized Framework for Large Language Model

• arxiv url: http://arxiv.org/abs/2506.19164v1
• Date: Mon, 23 Jun 2025 22:03:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.406783
• Title: GradualDiff-Fed: A Federated Learning Specialized Framework for Large Language Model
• Title（参考訳）: GradualDiff-Fed:大規模言語モデルのためのフェデレーション学習特化フレームワーク
• Authors: Amir Faiyaz, Tara Salman,
• Abstract要約: 大規模言語モデル(LLM)用に明示的に設計されたFLフレームワークであるGradualDiff-Fedを紹介する。 GradualDiff-Fedは、トレーニングラウンド中のモデル全体ではなく、モデルウェイトの違いだけを送信することで、通信コストを削減する。 評価の結果,GradualDiff-Fedは集中訓練と同等の性能を示し,通信オーバーヘッドを大幅に削減した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid proliferation of large language models (LLMs) has created an unprecedented demand for fine-tuning models for specialized domains, such as medical science. While federated learning (FL) offers a decentralized and privacy-preserving approach to collaboratively fine-tune LLMs without sharing raw data, it presents significant challenges, particularly in performance and managing large model sizes efficiently. In this paper, we introduce GradualDiff-Fed, an FL framework designed explicitly for LLMs, and their challenge of handling the high parameter size. GradualDiff-Fed reduces communication costs by transmitting only the difference of model weights rather than the entire model during training rounds. Such an approach significantly improves scalability and communication efficiency, making it more feasible to fine-tune LLMs across distributed clients without compromising performance. Our evaluation demonstrates that GradualDiff-Fed achieves performance on par with centralized training while drastically reducing communication overhead. These results highlight the potential of GradualDiff-Fed as an efficient solution for fine-tuning large models from distributed data in privacy-preserving settings without comprising performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な普及は、医学などの専門分野の微調整モデルに対する前例のない需要を生み出している。 フェデレーションラーニング(FL)は、生データを共有せずに協調的に微調整するLLMに対して、分散的かつプライバシ保護のアプローチを提供するが、特にパフォーマンスや大規模なモデルサイズを効率的に管理する上で、大きな課題をもたらす。 本稿では,LLM用に明示的に設計されたFLフレームワークであるGradualDiff-Fedを紹介し,高いパラメータサイズを扱う上での課題について述べる。 GradualDiff-Fedは、トレーニングラウンド中のモデル全体ではなく、モデルウェイトの違いだけを送信することで、通信コストを削減する。 このようなアプローチはスケーラビリティと通信効率を大幅に改善し、パフォーマンスを損なうことなく、分散クライアント間でのLLMを微調整しやすくする。 評価の結果,GradualDiff-Fedは通信オーバーヘッドを大幅に削減しつつ,集中型トレーニングと同程度の性能を実現していることがわかった。 これらの結果は、GradualDiff-Fedが、パフォーマンスを犠牲にすることなく、プライバシ保存設定で分散データから大規模なモデルを微調整する効率的なソリューションとしての可能性を強調している。

関連論文リスト

• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models [54.02863371927658]
  大規模言語モデル(LLM)は多くの現実世界のアプリケーションで必須となっている。 Ferretは、LLMのスケーラブルなフルパラメータチューニングを実現するために、ランダム性を共有する最初の一階法である。 フェレットは高い計算効率、通信オーバーヘッドの低減、高速収束を実現する。
  論文  参考訳（メタデータ） (2024-09-10T07:28:13Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)
• Exploring Parameter-Efficient Fine-Tuning to Enable Foundation Models in Federated Learning [12.839398408791778]
  フェデレートラーニング(FL)は、ローカルデバイス上の生データに一元的にアクセスすることなく、モデルの協調的なトレーニングを可能にするための、有望なパラダイムとして登場した。 最近の最先端の事前訓練モデルは、より有能になりつつ、より多くのパラメータを持ち、"Foundation Models"として知られている。 FLでこれらの強力で手軽に利用できる事前訓練モデルが、通信負荷を同時に軽減しつつ、優れた性能を達成するためのソリューションを見つけることができるだろうか? 具体的には,FedPEFTの性能を,クライアントの安定性,データ分散,プライバシ設定の違いによって体系的に評価する。
  論文  参考訳（メタデータ） (2022-10-04T16:08:54Z)
• FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale Neural Networks through Federated Learning [22.168178614211158]
  本稿では,大規模ニューラルネットワークを学習するためのFedOBD(Federated Opportunistic Block Dropout)アプローチを提案する。 FedOBDは大規模モデルをセマンティックブロックに分解し、FL参加者が偶然に量子化されたブロックをアップロードできるようにする。 実験によると、FedOBDは最高のパフォーマンスのベースラインアプローチに比べて、全体の通信オーバーヘッドを88%以上削減している。
  論文  参考訳（メタデータ） (2022-08-10T06:36:49Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。