論文の概要: FLoKD: Adaptive Knowledge Distillation for Federated Low-Rank LLM over Wireless Networks

• arxiv url: http://arxiv.org/abs/2609.13580v1
• Date: Fri, 11 Sep 2026 22:37:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.399822
• Title: FLoKD: Adaptive Knowledge Distillation for Federated Low-Rank LLM over Wireless Networks
• Title（参考訳）: FLoKD: 無線ネットワーク上でのフェデレーション低ランクLCMのための適応的知識蒸留
• Abstract要約: フェデレートラーニングは、クライアントデータを共有することなく、大規模な言語モデルの微調整を可能にする。 無線ネットワーク上でのLLMのファインチューニングのための適応的知識蒸留フレームワークであるFLoKDを提案する。 提案手法は, 通信のオーバーヘッドを50～65%削減すると同時に, ベースラインと比較して, 競争上の難易度に迅速に収束する。
• 参考スコア（独自算出の注目度）: 28.49324627841803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated strong capabilities across a wide range of natural language processing tasks. However, conventional fine-tuning typically relies on centralized data collection, bringing in privacy concerns. Federated learning (FL) enables collaborative LLM fine-tuning without sharing raw client data, but its deployment over bandwidth-constrained wireless networks is hindered by the communication overhead of model-parameter transmission. Although Low-Rank Adaptation (LoRA) reduces the number of trainable parameters, its communication cost still increases with model scale. Knowledge distillation avoids parameter sharing via output logits, but token-level logits in LLMs incur high communication cost due to sequence length and vocabulary size. Reducing logits lowers the cost but weakens supervision and degrades accuracy. To address these limitations, we propose FLoKD, an adaptive knowledge-distillation framework for federated LoRA fine-tuning of LLMs over wireless networks, which communicates intermediate LoRA activations as the distillation signal rather than logits or full parameters. Since transmitting all blocks over the entire public dataset remains costly, we further propose a transformer block importance scoring framework that selectively transmits the most informative blocks, and two dataset selection strategies that discard public samples deviating from the local data distribution and prioritise those most informative for distillation. Extensive experiments across multiple generative language datasets, including WikiText-103, PTB, and Dialog, demonstrate that our proposed framework reduces communication overhead by 50-65% while achieving rapid convergence to competitive perplexity compared to baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて強力な機能を示している。 しかし、従来の微調整は一般的に中央集権的なデータ収集に依存しており、プライバシー上の懸念をもたらす。 FL(Federated Learning)は、クライアントデータを共有することなく、協調LLMの微調整を可能にするが、帯域制限の無線ネットワークへの展開は、モデルパラメータ伝送の通信オーバーヘッドによって妨げられる。 Low-Rank Adaptation (LoRA)はトレーニング可能なパラメータの数を削減しますが、通信コストはモデルスケールで増加します。 知識蒸留は出力ロジットによるパラメータ共有を回避するが、LLMにおけるトークンレベルのロジットは、シーケンス長と語彙サイズによる通信コストが高い。 ロジットの削減はコストを下げるが、監督を弱め、精度を低下させる。 これらの制約に対処するため,無線ネットワーク上でLLMをファインタニングする適応型知識蒸留フレームワークであるFLoKDを提案し,ロジットや全パラメータではなく,中間LoRA活性化を蒸留信号として通信する。 パブリックデータセット全体にわたってすべてのブロックを送信することはコストがかかるため、最も情報性の高いブロックを選択的に送信するトランスフォーマーブロック重要スコアリングフレームワークと、ローカルデータ分布から逸脱したパブリックサンプルを破棄し、蒸留に最も情報のあるブロックを優先する2つのデータセット選択戦略を提案する。 WikiText-103,PTB,Dialogなど,複数の生成言語データセットを対象とした大規模な実験により,提案するフレームワークは,通信オーバーヘッドを50～65%削減するとともに,ベースラインに比べて競争性に急激な収束を実現していることが示された。

関連論文リスト

• FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
  FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。 トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。 この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
  論文  参考訳（メタデータ） (2026-06-01T06:58:15Z)
• FedKRSO: Communication and Memory Efficient Federated Fine-Tuning of Large Language Models [14.208669882584482]
  大規模言語モデル(LLM)の微調整は、それらをドメイン固有のタスクに適応させるのに不可欠である。 FL(Federated Learning)は、FLファインチューニングで人気を集めているが、完全なモデルパラメータを伝達するコストが高いため、依然として困難である。 本稿では,FedKRSOを提案する。フェデレーション設定におけるLLMの通信とメモリ効率向上のための新しいFedKRSOを提案する。
  論文  参考訳（メタデータ） (2026-02-03T02:39:33Z)
• Communication-Aware Knowledge Distillation for Federated LLM Fine-Tuning over Wireless Networks [28.49324627841803]
  大きな言語モデル(LLM)のためのフェデレーションラーニング(FL)は、クライアントが生データを交換することなく、ローカルにデプロイされたLLMまたはより小さな言語モデル(SLM)を協調的に微調整できるプライバシー保護スキームを提供する。 従来のFLモデルのパラメータ共有手法は、多くの技術的課題を解決するが、それでも高い通信オーバーヘッドを発生させる。 共有ロジットによる相互知識伝達の枠組みであるフェデレート蒸留を提案する。 提案手法は,通信オーバヘッドを約50%削減しつつ,ベースライン方式よりも優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-09-01T20:10:01Z)
• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• Communication-Efficient Wireless Federated Fine-Tuning for Large-Scale AI Models [13.742950928229078]
  Low-Rank Adaptation (LoRA) は、完全に微調整された大型モデルではなく、コンパクトで低ランクな行列を訓練することでこれらの問題に対処する。 本稿では,学習性能と通信効率の両方を最適化する無線フェデレーションLoRAファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-01T06:15:38Z)
• Soft-Label Caching and Sharpening for Communication-Efficient Federated Distillation [2.1617267802631366]
  フェデレートラーニング(FL)は、分散クライアント間のコラボレーティブモデルトレーニングを可能にし、データをローカルに保つことでプライバシを向上する。 同期ソフトラベルキャッシングと拡張エントロピー削減アグリゲーション(Enhanced ERA)機構を統合した新しいフレームワークであるSCARLETを提案する。 SCARLETはキャッシュされたソフトラベルを再利用することで冗長な通信を最小化し、既存の方法と比較して最大50%の通信コスト削減を実現している。
  論文  参考訳（メタデータ） (2025-04-28T09:04:30Z)
• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [65.04475956174959]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLにおける重要な課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータの敵ジャミングに対する感受性である。 本稿では,無線ネットワーク上での大規模言語モデル (LLM) と視覚言語モデル (VLM) を用いたレジリエンスSFLのための物理層フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。