論文の概要: FedSODA: Federated Fine-tuning of LLMs via Similarity Group Pruning and Orchestrated Distillation Alignment

• arxiv url: http://arxiv.org/abs/2508.12727v1
• Date: Mon, 18 Aug 2025 08:49:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:11.089612
• Title: FedSODA: Federated Fine-tuning of LLMs via Similarity Group Pruning and Orchestrated Distillation Alignment
• Title（参考訳）: FedSODA: 類似グループ抽出とオーケストレーション蒸留アライメントによるLCMのファインチューニング
• Authors: Manning Zhu, Songtao Guo, Pengzhan Zhou, Yansong Ning, Chang Han, Dewen Qiao,
• Abstract要約: 大規模言語モデル(LLM)のFFT(Federated Fine-tuning)は、ドメイン固有の適応を可能にする有望なソリューションとして最近登場した。 本稿では,リソース効率の高いFFTフレームワークであるFedSODAについて述べる。
• 参考スコア（独自算出の注目度）: 8.545353534117735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated fine-tuning (FFT) of large language models (LLMs) has recently emerged as a promising solution to enable domain-specific adaptation while preserving data privacy. Despite its benefits, FFT on resource-constrained clients relies on the high computational and memory demands of full-model fine-tuning, which limits the potential advancement. This paper presents FedSODA, a resource-efficient FFT framework that enables clients to adapt LLMs without accessing or storing the full model. Specifically, we first propose a similarity group pruning (SGP) module, which prunes redundant layers from the full LLM while retaining the most critical layers to preserve the model performance. Moreover, we introduce an orchestrated distillation alignment (ODA) module to reduce gradient divergence between the sub-LLM and the full LLM during FFT. Through the use of the QLoRA, clients only need to deploy quantized sub-LLMs and fine-tune lightweight adapters, significantly reducing local resource requirements. We conduct extensive experiments on three open-source LLMs across a variety of downstream tasks. The experimental results demonstrate that FedSODA reduces communication overhead by an average of 70.6%, decreases storage usage by 75.6%, and improves task accuracy by 3.1%, making it highly suitable for practical FFT applications under resource constraints.
• Abstract（参考訳）: 大規模言語モデル(LLM)のFFT(Federated Fine-tuning)は、データプライバシを保持しながらドメイン固有の適応を可能にする、有望なソリューションとして最近登場した。 その利点にもかかわらず、リソース制約のあるクライアントでのFFTは、フルモデルの微調整による高い計算とメモリ要求に依存しており、潜在的な進歩を制限している。 本稿では,リソース効率の高いFFTフレームワークであるFedSODAについて述べる。 具体的には、まず、モデル性能を維持するために最も重要なレイヤを保持しながら、完全なLLMから冗長なレイヤを抽出する類似性グループプルーニング(SGP)モジュールを提案する。 さらに,FFT中にサブLLMとフルLCMとの勾配ばらつきを低減するため,ODAモジュールを導入する。 QLoRAを使用することで、クライアントは量子化されたサブLLMと微調整の軽量アダプタをデプロイするだけで、ローカルリソースの要求を大幅に削減できる。 ダウンストリームタスクにまたがる3つのオープンソース LLM に関する広範な実験を行った。 実験の結果、FedSODAは通信オーバーヘッドを平均70.6%減らし、ストレージ使用量を75.6%減らし、タスク精度を3.1%改善し、リソース制約下での実用的なFFTアプリケーションに非常に適していることが示された。

関連論文リスト

• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• Resource-Efficient Federated Fine-Tuning Large Language Models for Heterogeneous Data [16.844142562389443]
  フェデレートラーニング(Federated Learning)、すなわちフェデレーションラーニング(FedLLM)を通じて、さまざまな下流アプリケーションにLLMをプライバシ保護方式で適応させるための微調整大型言語モデル(LLM)が提案されている。 資源制約装置の微調整コストを低減するため、FedLLMにローランク適応(LoRA)を統合することにより、モデルパラメータの小さなサブセットのみを微調整することを提案した。 本稿では、これらの課題に対処するため、階層的なFedLoRAフレームワークであるHierFedLoRAを提案する。
  論文  参考訳（メタデータ） (2025-03-27T07:05:22Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model [48.33280660752336]
  大規模言語モデル(LLM)は、適切なデータで微調整した後、多くのドメイン固有のタスクで素晴らしいパフォーマンスを示す。 多くのドメイン固有のデータは、プライベートに複数の所有者に分散される。 我々は,フェデレート学習のための資源効率の高いLLM微調整手法であるFedBiOTを紹介する。
  論文  参考訳（メタデータ） (2024-06-25T16:45:47Z)
• Federated Fine-tuning of Large Language Models under Heterogeneous Tasks and Client Resources [31.041608465716575]
  大規模言語モデル(LLM)のパラメータ効率の高い微調整には、最近FL(Federated Learning)が適用されている。 本研究では,LLMファインチューニングのための簡易かつ効果的なアグリゲーションスキームFlexLoRAを紹介する。
  論文  参考訳（メタデータ） (2024-02-18T08:32:59Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。