論文の概要: Federated Prompt Learning: A Unified Framework, Empirical Analysis, and Future Directions
- arxiv url: http://arxiv.org/abs/2608.13844v1
- Date: Fri, 14 Aug 2026 00:25:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.227548
- Title: Federated Prompt Learning: A Unified Framework, Empirical Analysis, and Future Directions
- Title（参考訳）: Federated Prompt Learning: 統一フレームワーク、実証分析、今後の方向性
- Abstract要約: フェデレート・プロンプト・ラーニング(FPL)は、クライアントが生データを共有せずに学習モデルを協調的にトレーニングできる分散トレーニングパラダイムである。
本稿では,連合学習パラダイムと大規模言語モデルの統合に関する最近の進歩を概観する。
- 参考スコア（独自算出の注目度）: 26.241910333534875
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models (LLMs) have become core components of cloud-based intelligent services in academia and industry, yet their training and deployment are hindered by high computational costs, data centralization, and privacy concerns. Federated learning (FL) offers a decentralized training paradigm that enables clients to collaboratively train a learning model without sharing raw data, making it a promising solution for privacy-preserving LLM training and reasoning. This paper presents a comprehensive survey of federated prompt learning (FPL) to review recent advances in integrating the federated learning paradigm and large language models, answering the following research questions: RQ1: The fundamental motivations, characteristics, and enabling technologies of FPL, and how it differs from conventional FL and full-model federated fine-tuning; RQ2: The trade-offs FPL approaches exhibit in performance, communication efficiency, computational overhead, scalability, personalization, and heterogeneity handling; RQ3: The remaining security, privacy, robustness, and system challenges, along with key future research directions. To this end, we systematically examine existing FPL methods across the full model lifecycle: pre-training, fine-tuning, and practical applications, while discussing security, privacy, and robustness issues and summarizing existing defense mechanisms. Finally, we highlight open challenges and future directions, aiming to help readers understand how the insights drive research in FPL.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、学術や産業におけるクラウドベースのインテリジェントサービスの中核的なコンポーネントとなっているが、そのトレーニングとデプロイメントは、高い計算コスト、データ集中化、プライバシの懸念によって妨げられている。
フェデレートラーニング(FL)は、クライアントが生データを共有せずに学習モデルを協調的にトレーニングできる分散トレーニングパラダイムを提供する。
本稿では,FPLの基本的なモチベーション,特徴,実現可能なFPL技術,および従来のFLやフルモデルフェデレートファインタニングとの違い,RQ2: 性能,通信効率,計算オーバーヘッド,スケーラビリティ,パーソナライゼーション,異種性処理におけるFPLアプローチ,RQ3: 残るセキュリティ,プライバシ,堅牢性,システムの課題,および今後の研究方向性について,近年のFPL統合学習パラダイムと大規模言語モデルの統合に関する総合的な調査を行う。
この目的のために、我々は、セキュリティ、プライバシー、堅牢性の問題について議論し、既存の防御機構を要約しながら、事前訓練、微調整、実用的なアプリケーションという、モデルライフサイクル全体にわたって既存のFPL手法を体系的に検討する。
最後に、オープンな課題と今後の方向性を強調し、その洞察がFPLの研究をいかにリードするかを読者に理解することを目的としている。
関連論文リスト
- Inverse Reinforcement Learning Meets Large Language Model Post-Training: Basics, Advances, and Opportunities [62.05713042908654]
本稿では,逆強化学習(IRL)のレンズによる大規模言語モデル(LLM)のアライメントの進歩について概観する。
我々は、人間のデータからニューラル報酬モデルを構築する必要性を強調し、このパラダイムシフトの形式的および実践的意味について議論する。
論文 参考訳（メタデータ） (2025-07-17T14:22:24Z) - Federated Large Language Models: Feasibility, Robustness, Security and Future Directions [18.21433627004719]
LLM(Large Language Models)とFL(Federated Learning)の統合は、分散データに対する共同トレーニングのための有望なソリューションを提供する。
本稿では, 実現可能性, 堅牢性, セキュリティ, 今後の方向性の4つの重要な視点から課題を考察する。
論文 参考訳（メタデータ） (2025-05-13T03:23:54Z) - Federated Learning: A Survey on Privacy-Preserving Collaborative Intelligence [0.0]
フェデレートラーニング(FL)は、分散機械学習の分野における変革的パラダイムとして登場した。
この調査は、フェデレートラーニングの簡潔かつ包括的概要を提供する。
論文 参考訳（メタデータ） (2025-04-24T16:10:29Z) - LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。
ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
論文 参考訳（メタデータ） (2025-02-28T18:59:54Z) - Ten Challenging Problems in Federated Foundation Models [55.343738234307544]
フェデレーション・ファンデーション・モデル(Federated Foundation Models、FedFM)は、フェデレーション・モデルの一般的な能力とフェデレーション・ラーニングのプライバシー保護能力を融合させる分散学習パラダイムである。
本稿では,FedFMに固有の10の課題について,基礎理論,プライベートデータの利用,継続学習,非学習,非IIDおよびグラフデータ,双方向知識伝達,インセンティブ機構設計,ゲーム機構設計,モデル透かし,効率を包括的に要約する。
論文 参考訳（メタデータ） (2025-02-14T04:01:15Z) - Federated Large Language Models: Current Progress and Future Directions [63.68614548512534]
本稿では,LLM(FedLLM)のフェデレーション学習について調査し,最近の進歩と今後の方向性を明らかにする。
ファインチューニングと迅速な学習という2つの重要な側面に注目し、既存の作業と関連する研究課題について議論する。
論文 参考訳（メタデータ） (2024-09-24T04:14:33Z) - Recent Advances in Federated Learning Driven Large Language Models: A Survey on Architecture, Performance, and Security [24.969739515876515]
Federated Learning(FL)は、データプライバシを保持し、通信オーバーヘッドを最小限に抑えながら、大規模言語モデル(LLM)を分散的にトレーニングするための有望なパラダイムを提供する。
我々は、摂動に基づく手法、モデル分解、漸進的再学習を含む、連合LLMにおける未学習を可能にする様々な戦略についてレビューする。
本調査では, 現実の展開に向けて, 安全で適応性があり, 高性能なLLMシステムの開発に向けた重要な研究方向を明らかにする。
論文 参考訳（メタデータ） (2024-06-14T08:40:58Z) - Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
大規模言語モデル(LLM)は、無線ネットワークにおいて大きな変革をもたらしている。
無線環境では、LLMのトレーニングはセキュリティとプライバシに関する重大な課題に直面している。
本稿では,無線ネットワークにおけるLLMのトレーニング段階の体系的解析を行い,事前学習,命令チューニング,アライメントチューニングを行う。
論文 参考訳（メタデータ） (2024-04-20T02:30:21Z) - A Comprehensive Study on Model Initialization Techniques Ensuring
Efficient Federated Learning [0.0]
フェデレートラーニング(FL)は、分散とプライバシ保護の方法で機械学習モデルをトレーニングするための有望なパラダイムとして登場した。
モデルに使用される手法の選択は、フェデレーション学習システムの性能、収束速度、通信効率、プライバシー保証において重要な役割を果たす。
本研究は,各手法のメリットとデメリットを慎重に比較,分類,記述し,さまざまなFLシナリオに適用性について検討する。
論文 参考訳（メタデータ） (2023-10-31T23:26:58Z) - Federated Learning: A Cutting-Edge Survey of the Latest Advancements and Applications [6.042202852003457]
Federated Learning(FL)は、堅牢な機械学習(ML)モデルを開発するためのテクニックである。
ユーザのプライバシを保護するため、FLでは、大量の生データや潜在的機密データを送信するのではなく、モデル更新を送信する必要がある。
このサーベイは、最新のFLアルゴリズムの包括的な分析と比較を提供する。
論文 参考訳（メタデータ） (2023-10-08T19:54:26Z) - Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。
マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
論文 参考訳（メタデータ） (2023-10-04T20:27:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。