論文の概要: A Survey on Federated Fine-tuning of Large Language Models

• arxiv url: http://arxiv.org/abs/2503.12016v1
• Date: Sat, 15 Mar 2025 06:52:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:28:09.491777
• Title: A Survey on Federated Fine-tuning of Large Language Models
• Title（参考訳）: 大規模言語モデルのファインチューニングに関する調査研究
• Authors: Yebo Wu, Chunlin Tian, Jingguang Li, He Sun, Kahou Tam, Li Li, Chengzhong Xu,
• Abstract要約: Federated Learning(FL)は、データプライバシを確保しながら協調的なモデル適応を可能にする、有望なアプローチを提供する。 まず,Large Language Models (LLMs) とFLの両方の歴史的進化を,関連する事前調査を要約しながら追跡する。 次に、既存のパラメータ効率細調整法(PEFT)について広範な研究を行い、FLにおける適用可能性について検討する。 最後に、重要なオープン課題を特定し、今後のFedLLMの進歩を推進するための有望な研究方針を概説する。
• 参考スコア（独自算出の注目度）: 17.79395946441051
• License:
• Abstract: Large Language Models (LLMs) have achieved remarkable success across a wide range of tasks, with fine-tuning playing a pivotal role in adapting them to specific downstream applications. Federated Learning (FL) offers a promising approach that enables collaborative model adaptation while ensuring data privacy, i.e., FedLLM. In this survey, we provide a systematic and thorough review of the integration of LLMs with FL. Specifically, we first trace the historical evolution of both LLMs and FL, while summarizing relevant prior surveys. We then present an in-depth analysis of the fundamental challenges encountered in deploying FedLLM. Following this, we conduct an extensive study of existing parameter-efficient fine-tuning (PEFT) methods and explore their applicability in FL. Furthermore, we introduce a comprehensive evaluation benchmark to rigorously assess FedLLM performance and discuss its diverse real-world applications across multiple domains. Finally, we identify critical open challenges and outline promising research directions to drive future advancements in FedLLM. We maintain an active \href{https://github.com/Clin0212/Awesome-Federated-LLM-Learning}{GitHub repository} tracking cutting-edge advancements. This survey serves as a foundational resource for researchers and practitioners, offering insights into the evolving landscape of federated fine-tuning for LLMs while guiding future innovations in privacy-preserving AI.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクで顕著な成功を収め、微調整は特定の下流アプリケーションに適応する上で重要な役割を担っている。 Federated Learning (FL)は、データプライバシ、すなわちFedLLMを保証しながら協調的なモデル適応を可能にする有望なアプローチを提供する。 本調査では,LLMとFLの統合について,系統的かつ徹底的に検討する。 具体的には, LLM と FL の両方の歴史的変遷を, 関連する先行調査を要約しながら追跡する。 次に、FedLLMのデプロイで直面する根本的な課題を詳細に分析する。 次に、既存のパラメータ効率細調整法(PEFT)について広範な研究を行い、FLにおける適用可能性について検討する。 さらに、FedLLMの性能を厳格に評価するための総合評価ベンチマークを導入し、複数のドメインにまたがる多様な実世界のアプリケーションについて議論する。 最後に、重要なオープン課題を特定し、今後のFedLLMの進歩を推進するための有望な研究方針を概説する。 私たちは最先端の進歩を追跡するアクティブな \href{https://github.com/Clin0212/Awesome-Federated-LLM-Learning}{GitHub リポジトリを維持しています。 この調査は、研究者や実践者の基盤となるリソースとして機能し、LLMのフェデレーションファインチューニングの進化の展望と、プライバシ保護AIにおける将来のイノベーションの導出を提供する。

関連論文リスト

• From Selection to Generation: A Survey of LLM-based Active Learning [153.8110509961261]
  大きな言語モデル(LLM)は、全く新しいデータインスタンスを生成し、よりコスト効率の良いアノテーションを提供するために使われています。 本調査は,LSMに基づくAL手法の直感的な理解を目指して,研究者や実践者の最新のリソースとして機能することを目的としている。
  論文  参考訳（メタデータ） (2025-02-17T12:58:17Z)
• Federated Large Language Models: Current Progress and Future Directions [63.68614548512534]
  本稿では,LLM(FedLLM)のフェデレーション学習について調査し,最近の進歩と今後の方向性を明らかにする。 ファインチューニングと迅速な学習という2つの重要な側面に注目し、既存の作業と関連する研究課題について議論する。
  論文  参考訳（メタデータ） (2024-09-24T04:14:33Z)
• Vertical Federated Learning for Effectiveness, Security, Applicability: A Survey [67.48187503803847]
  Vertical Federated Learning(VFL)は、プライバシ保護のための分散学習パラダイムである。 近年の研究では、VFLの様々な課題に対処する有望な成果が示されている。 この調査は、最近の展開を体系的に概観する。
  論文  参考訳（メタデータ） (2024-05-25T16:05:06Z)
• Analysis of Privacy Leakage in Federated Large Language Models [18.332535398635027]
  大規模言語モデル(LLM)の訓練に使用するフェデレートラーニング(FL)のプライバシ分析について検討する。 特に、様々なFL構成のプライバシー漏洩を評価するために、理論的成功率を保証した2つのアクティブメンバーシップ推論攻撃を設計する。 我々の理論的な発見は、BERT、RoBERTa、DistilBERT、OpenAIのGPTなど、人気のあるLCMの重大なプライバシー上の脆弱性を明らかにする実用的な攻撃に変換される。
  論文  参考訳（メタデータ） (2024-03-02T20:25:38Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Integration of Large Language Models and Federated Learning [58.9876604258949]
  本稿では,LLMとFLの融合を3つの部分に分割する研究フレームワークを提案する。 まず,LLMの領域とFLを組み合わせた研究の現状について概説する。 次に、医療、金融、教育などの重要なシナリオにおけるLLMとFLの組み合わせの実践的応用について論じる。
  論文  参考訳（メタデータ） (2023-07-18T02:09:14Z)
• A Survey on Large Language Models for Recommendation [77.91673633328148]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。 本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
  論文  参考訳（メタデータ） (2023-05-31T13:51:26Z)
• Towards Interpretable Federated Learning [19.764172768506132]
  フェデレートラーニング(FL)は、複数のデータ所有者が、プライベートなローカルデータを公開せずに、協調して機械学習モデルを構築することを可能にする。 特に金融や医療といったミッションクリティカルなアプリケーションにおいて、パフォーマンス、プライバシ保護、解釈可能性の必要性のバランスをとることが重要です。 我々は、代表的IFL手法、一般的に採用されている性能評価指標、多目的IFL技術構築に向けた有望な方向性を包括的に分析する。
  論文  参考訳（メタデータ） (2023-02-27T02:06:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。