論文の概要: A Survey on Federated Fine-tuning of Large Language Models

• arxiv url: http://arxiv.org/abs/2503.12016v2
• Date: Fri, 27 Jun 2025 07:42:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 15:06:58.053779
• Title: A Survey on Federated Fine-tuning of Large Language Models
• Title（参考訳）: 大規模言語モデルのファインチューニングに関する調査研究
• Authors: Yebo Wu, Chunlin Tian, Jingguang Li, He Sun, Kahou Tam, Zhanting Zhou, Haicheng Liao, Zhijiang Guo, Li Li, Chengzhong Xu,
• Abstract要約: FedLLMは、データのプライバシを保持しながら、協調的なモデル適応のための有望な道を提供する。 FedLLMを厳格に評価するために、既存の微調整データセットと評価ベンチマークを徹底的にレビューする。 我々は、重要なオープン課題を特定し、FedLLMの今後の進歩を促進するための有望な研究の方向性を概説する。
• 参考スコア（独自算出の注目度）: 21.559090305077273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive success across various tasks. Integrating LLMs with Federated Learning (FL), a paradigm known as FedLLM, offers a promising avenue for collaborative model adaptation while preserving data privacy. This survey provides a systematic and comprehensive review of FedLLM. We begin by tracing the historical development of both LLMs and FL, summarizing relevant prior research to set the context. Subsequently, we delve into an in-depth analysis of the fundamental challenges inherent in deploying FedLLM. Addressing these challenges often requires efficient adaptation strategies; therefore, we conduct an extensive examination of existing Parameter-Efficient Fine-tuning (PEFT) methods and explore their applicability within the FL framework. To rigorously evaluate the performance of FedLLM, we undertake a thorough review of existing fine-tuning datasets and evaluation benchmarks. Furthermore, we discuss FedLLM's diverse real-world applications across multiple domains. Finally, we identify critical open challenges and outline promising research directions to foster future advancements in FedLLM. This survey aims to serve as a foundational resource for researchers and practitioners, offering valuable insights into the rapidly evolving landscape of federated fine-tuning for LLMs. It also establishes a roadmap for future innovations in privacy-preserving AI. We actively maintain a GitHub repo \href{https://github.com/Clin0212/Awesome-Federated-LLM-Learning}{https://github.com/Clin0212/Awesome-Federated-LLM-Learning} to track cutting-edge advancements in this field.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、様々なタスクで素晴らしい成功を収めています。 LLMとフェデレートラーニング(FL)を統合することは、フェデレートラーニング(FedLLM)として知られるパラダイムであり、データのプライバシを維持しながら協調的なモデル適応のための有望な道を提供する。 この調査は、FedLLMの体系的で包括的なレビューを提供する。 まず LLM と FL の両方の歴史的発展をトレースし、関連する先行研究を要約してコンテキストを設定する。 その後、FedLLMのデプロイに固有の根本的な課題を詳細に分析する。 これらの課題に対処するには、しばしば効率的な適応戦略を必要とするため、既存のパラメータ・効率的なファインチューニング(PEFT)手法を広範囲に検討し、FLフレームワークにおける適用可能性について検討する。 FedLLMの性能を厳格に評価するために、既存の微調整データセットと評価ベンチマークを徹底的にレビューする。 さらに、複数のドメインにわたるFedLLMの多様な現実世界アプリケーションについても論じる。 最後に、重要なオープン課題を特定し、FedLLMの今後の進歩を促進するための有望な研究方針を概説する。 本調査は,LLMのファインチューニングの急速な発展にともなう,研究者や実践者の基盤となる資源として機能することを目的としている。 また、プライバシー保護AIにおける将来のイノベーションのロードマップも確立している。 私たちは、この分野における最先端の進歩を追跡するために、GitHub repo \href{https://github.com/Clin0212/Awesome-Federated-LLM-Learning}{https://github.com/Clin0212/Awesome-Federated-LLM-Learning}を積極的に維持しています。

関連論文リスト

• LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
  大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。 ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
  論文  参考訳（メタデータ） (2025-02-28T18:59:54Z)
• A Comprehensive Survey of Machine Unlearning Techniques for Large Language Models [36.601209595620446]
  本研究では,大規模言語モデル(LLM)の文脈における機械学習手法について検討する。 LLMのアンラーニングは、LLMから望ましくないデータの影響を取り除くための原則的なアプローチを提供する。 研究の関心が高まりつつあるにもかかわらず、既存の研究を体系的に整理し、重要な洞察を蒸留する総合的な調査は行われていない。
  論文  参考訳（メタデータ） (2025-02-22T12:46:14Z)
• Federated Large Language Models: Current Progress and Future Directions [63.68614548512534]
  本稿では,LLM(FedLLM)のフェデレーション学習について調査し,最近の進歩と今後の方向性を明らかにする。 ファインチューニングと迅速な学習という2つの重要な側面に注目し、既存の作業と関連する研究課題について議論する。
  論文  参考訳（メタデータ） (2024-09-24T04:14:33Z)
• Vertical Federated Learning for Effectiveness, Security, Applicability: A Survey [67.48187503803847]
  Vertical Federated Learning(VFL)は、プライバシ保護のための分散学習パラダイムである。 近年の研究では、VFLの様々な課題に対処する有望な成果が示されている。 この調査は、最近の展開を体系的に概観する。
  論文  参考訳（メタデータ） (2024-05-25T16:05:06Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Integration of Large Language Models and Federated Learning [58.9876604258949]
  本稿では,LLMとFLの融合を3つの部分に分割する研究フレームワークを提案する。 まず,LLMの領域とFLを組み合わせた研究の現状について概説する。 次に、医療、金融、教育などの重要なシナリオにおけるLLMとFLの組み合わせの実践的応用について論じる。
  論文  参考訳（メタデータ） (2023-07-18T02:09:14Z)
• A Survey on Large Language Models for Recommendation [77.91673633328148]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。 本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
  論文  参考訳（メタデータ） (2023-05-31T13:51:26Z)
• Towards Interpretable Federated Learning [19.764172768506132]
  フェデレートラーニング(FL)は、複数のデータ所有者が、プライベートなローカルデータを公開せずに、協調して機械学習モデルを構築することを可能にする。 特に金融や医療といったミッションクリティカルなアプリケーションにおいて、パフォーマンス、プライバシ保護、解釈可能性の必要性のバランスをとることが重要です。 我々は、代表的IFL手法、一般的に採用されている性能評価指標、多目的IFL技術構築に向けた有望な方向性を包括的に分析する。
  論文  参考訳（メタデータ） (2023-02-27T02:06:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。