論文の概要: LLM-QFL: Distilling Large Language Model for Quantum Federated Learning
- arxiv url: http://arxiv.org/abs/2505.18656v1
- Date: Sat, 24 May 2025 11:49:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:42.572001
- Title: LLM-QFL: Distilling Large Language Model for Quantum Federated Learning
- Title（参考訳）: LLM-QFL:量子フェデレーション学習のための大規模言語モデル
- Authors: Dev Gurung, Shiva Raj Pokhrel,
- Abstract要約: 大規模言語モデル(LLM)を量子フェデレーション学習(QFL)に適用し、効率と性能を向上させる。
本稿では,QFL 内で LLM を蒸留するファインチューニング手法を提案する。
実験は高い効率性を示す。
- 参考スコア（独自算出の注目度）: 13.782852293291493
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Inspired by the power of large language models (LLMs), our research adapts them to quantum federated learning (QFL) to boost efficiency and performance. We propose a federated fine-tuning method that distills an LLM within QFL, allowing each client to locally adapt the model to its own data while preserving privacy and reducing unnecessary global updates. The fine-tuned LLM also acts as a reinforcement agent, optimizing QFL by adjusting optimizer steps, cutting down communication rounds, and intelligently selecting clients. Experiments show significant efficiency gains. We pioneer a synergy between LLM and QFL, offering: i) practical efficiency: Reduced communication costs and faster convergence. ii) theoretical rigor: Provable guarantees for adaptive federated optimization. iii) scalability: PEFT methods (LoRA, QLoRA) enable deployment on resource-constrained quantum devices. Code implementation is available here 1.
- Abstract（参考訳）: 大規模言語モデル(LLM)の力に触発され、量子連合学習(QFL)に適応し、効率と性能を向上させる。
本稿では,QFL 内で LLM を蒸留し,プライバシの保護と不必要なグローバルアップデートの低減を図りながら,各クライアントが自身のデータにモデルをローカルに適応させることができるフェデレーションファインチューニング手法を提案する。
微調整LDMは強化剤としても機能し、最適化ステップを調整することでQFLを最適化し、通信ラウンドを切断し、クライアントをインテリジェントに選択する。
実験は高い効率性を示す。
私たちはLLMとQFLのシナジーの先駆者です。
一 実用効率:通信費の削減及び収束の迅速化。
二 理論上の厳格性:適応的連合最適化の保証の保証。
三 拡張性:PEFT法(LoRA、QLoRA)により、リソース制約された量子デバイスへの展開を可能にする。
コードの実装はここにある。
関連論文リスト
- Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。
既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。
本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
論文 参考訳（メタデータ） (2024-06-17T03:49:44Z) - SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。
グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
論文 参考訳（メタデータ） (2024-06-01T13:10:35Z) - LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。
本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。
この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
論文 参考訳（メタデータ） (2024-05-09T11:49:05Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T16:37:59Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳（メタデータ） (2023-09-01T09:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。