論文の概要: Communication-Aware Knowledge Distillation for Federated LLM Fine-Tuning over Wireless Networks

• arxiv url: http://arxiv.org/abs/2509.01750v1
• Date: Mon, 01 Sep 2025 20:10:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.83397
• Title: Communication-Aware Knowledge Distillation for Federated LLM Fine-Tuning over Wireless Networks
• Title（参考訳）: 無線ネットワーク上でのフェデレーションLLMファインチューニングのためのコミュニケーション対応知識蒸留
• Authors: Xinlu Zhang, Na Yan, Yang Su, Yansha Deng, Toktam Mahmoodi,
• Abstract要約: 大きな言語モデル(LLM)のためのフェデレーションラーニング(FL)は、クライアントが生データを交換することなく、ローカルにデプロイされたLLMまたはより小さな言語モデル(SLM)を協調的に微調整できるプライバシー保護スキームを提供する。 従来のFLモデルのパラメータ共有手法は、多くの技術的課題を解決するが、それでも高い通信オーバーヘッドを発生させる。 共有ロジットによる相互知識伝達の枠組みであるフェデレート蒸留を提案する。 提案手法は,通信オーバヘッドを約50%削減しつつ,ベースライン方式よりも優れた性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 28.49324627841803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) for large language models (LLMs) offers a privacy-preserving scheme, enabling clients to collaboratively fine-tune locally deployed LLMs or smaller language models (SLMs) without exchanging raw data. While parameter-sharing methods in traditional FL models solves number of technical challenges, they still incur high communication overhead and struggle with adapting to heterogeneous model architectures. Federated distillation, a framework for mutual knowledge transfer via shared logits, typically offers lower communication overhead than parameter-sharing methods. However, transmitting logits from LLMs remains challenging for bandwidth-limited clients due to their high dimensionality. In this work, we focus on a federated LLM distillation with efficient communication overhead. To achieve this, we first propose an adaptive Top-k logit selection mechanism, dynamically sparsifying logits according to real-time communication conditions. Then to tackle the dimensional inconsistency introduced by the adaptive sparsification, we design an adaptive logits aggregation scheme, effectively alleviating the artificial and uninformative inputs introduced by conventional zero-padding methods. Finally, to enhance the distillation effect, we incorporate LoRA-adapted hidden-layer projection from LLM into the distillation loss, reducing the communication overhead further while providing richer representation. Experimental results demonstrate that our scheme achieves superior performance compared to baseline methods while effectively reducing communication overhead by approximately 50%.
• Abstract（参考訳）: 大きな言語モデル(LLM)のためのフェデレーションラーニング(FL)は、クライアントが生データを交換することなく、ローカルにデプロイされたLLMまたはより小さな言語モデル(SLM)を協調的に微調整できるプライバシー保護スキームを提供する。 従来のFLモデルのパラメータ共有手法は、多くの技術的課題を解決するが、それでも高い通信オーバーヘッドを発生させ、異種モデルアーキテクチャへの適応に苦慮する。 共有ロジットによる相互知識伝達のためのフレームワークであるフェデレート蒸留は、一般的にパラメータ共有方式よりも通信オーバーヘッドが低い。 しかし, LLMからのロジット送信は, 高次元性のため帯域幅制限のクライアントでは依然として困難である。 本研究では,効率的な通信オーバヘッドを有するLLM蒸留に焦点をあてる。 そこで我々はまず,リアルタイム通信条件に応じてロジットを動的に分散する適応型トポ-kロジット選択機構を提案する。 そこで,適応スパシフィケーションによって導入された次元的不整合に対処するため,従来のゼロパディング法で導入された人工的および非情報的入力を効果的に緩和する適応ロジットアグリゲーション・スキームを設計した。 最後に, 蒸留効果を高めるため, LLMからのLORA適応隠蔽層投影を蒸留損失に組み込むことにより, よりリッチな表現を提供しながら, 通信オーバーヘッドをさらに軽減する。 実験の結果,提案方式はベースライン方式に比べて性能が良く,通信オーバヘッドを約50%削減できることがわかった。

関連論文リスト

• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• Communication-Efficient Wireless Federated Fine-Tuning for Large-Scale AI Models [13.742950928229078]
  Low-Rank Adaptation (LoRA) は、完全に微調整された大型モデルではなく、コンパクトで低ランクな行列を訓練することでこれらの問題に対処する。 本稿では,学習性能と通信効率の両方を最適化する無線フェデレーションLoRAファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-01T06:15:38Z)
• Communication-Efficient and Personalized Federated Foundation Model Fine-Tuning via Tri-Matrix Adaptation [47.82423317739088]
  本稿では, パーソナライズされたモデルパラメータアグリゲーションを用いた三要素化低ランク適応手法である通信効率のフェデレーションLoRA適応(CE-LoRA)を提案する。 各種LLMおよびVLM微調整タスクの実験により、CE-LoRAは通信オーバーヘッドを著しく低減するだけでなく、独立で同一の分散データ条件下での性能も向上することが示された。
  論文  参考訳（メタデータ） (2025-03-31T09:18:42Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。 これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。 無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
  大規模言語モデル(LLM)は、無線ネットワークにおいて大きな変革をもたらしている。 無線環境では、LLMのトレーニングはセキュリティとプライバシに関する重大な課題に直面している。 本稿では,無線ネットワークにおけるLLMのトレーニング段階の体系的解析を行い,事前学習,命令チューニング,アライメントチューニングを行う。
  論文  参考訳（メタデータ） (2024-04-20T02:30:21Z)
• Asynchronous Online Federated Learning with Reduced Communication Requirements [6.282767337715445]
  通信効率のよい非同期オンライン連合学習(PAO-Fed)戦略を提案する。 参加者のコミュニケーションオーバーヘッドを減らすことで,学習課題への参加をよりアクセスしやすく,効率的に行うことができる。 提案手法の総合シミュレーションを行い,提案手法の有効性について検討した。
  論文  参考訳（メタデータ） (2023-03-27T14:06:05Z)
• HiFlash: Communication-Efficient Hierarchical Federated Learning with Adaptive Staleness Control and Heterogeneity-aware Client-Edge Association [38.99309610943313]
  フェデレートラーニング(FL)は、巨大なクライアント間で共有モデルを協調的に学習することのできる、有望なパラダイムである。 多くの既存のFLシステムでは、クライアントは大規模なデータサイズのモデルパラメータを、ワイドエリアネットワーク(WAN)を介してリモートクラウドサーバと頻繁に交換する必要がある。 我々は、モバイルエッジコンピューティングの利点を享受するHiFLの階層的フェデレーション学習パラダイムを活用している。
  論文  参考訳（メタデータ） (2023-01-16T14:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。