論文の概要: On the Evolution of Federated Post-Training Large Language Models: A Model Accessibility View

• arxiv url: http://arxiv.org/abs/2508.16261v1
• Date: Fri, 22 Aug 2025 09:52:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.344872
• Title: On the Evolution of Federated Post-Training Large Language Models: A Model Accessibility View
• Title（参考訳）: 訓練後の大規模言語モデルの進化について:モデルアクセシビリティの観点から
• Authors: Tao Guo, Junxiao Wang, Fushuo Huo, Laizhong Cui, Song Guo, Jie Gui, Dacheng Tao,
• Abstract要約: Federated Learning (FL)は、クライアントデータのプライバシを保持しながら、分散データサイロをまたいだトレーニングモデルを可能にする。 近年,FL内での大規模言語モデル (LLM) の学習を効率化し,計算・通信の課題に対処する手法が研究されている。 これらの制限に対処するために、推論のみのパラダイム(ブラックボックスのFedLLM)が登場した。
• 参考スコア（独自算出の注目度）: 82.19096285469115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) enables training models across decentralized data silos while preserving client data privacy. Recent research has explored efficient methods for post-training large language models (LLMs) within FL to address computational and communication challenges. While existing approaches often rely on access to LLMs' internal information, which is frequently restricted in real-world scenarios, an inference-only paradigm (black-box FedLLM) has emerged to address these limitations. This paper presents a comprehensive survey on federated tuning for LLMs. We propose a taxonomy categorizing existing studies along two axes: model access-based and parameter efficiency-based optimization. We classify FedLLM approaches into white-box, gray-box, and black-box techniques, highlighting representative methods within each category. We review emerging research treating LLMs as black-box inference APIs and discuss promising directions and open challenges for future research.
• Abstract（参考訳）: Federated Learning (FL)は、クライアントデータのプライバシを保持しながら、分散データサイロをまたいだトレーニングモデルを可能にする。 近年,FL内での大規模言語モデル (LLM) の学習を効率化し,計算・通信の課題に対処する手法が研究されている。 既存のアプローチはLLMの内部情報へのアクセスに依存しており、現実のシナリオでは制限されることが多いが、これらの制限に対処するために推論のみのパラダイム(ブラックボックスのFedLLM)が出現している。 本稿では,LLMのフェデレーションチューニングに関する包括的調査を行う。 モデルアクセスベースとパラメータ効率ベース最適化の2つの軸に沿って既存の研究を分類する分類法を提案する。 我々は、FedLLMアプローチをホワイトボックス、グレーボックス、ブラックボックステクニックに分類し、各カテゴリにおける代表的手法を強調した。 我々は,LSMをブラックボックス推論APIとして扱う新たな研究をレビューし,将来的な方向性と課題について論じる。

関連論文リスト

• A Survey on Federated Fine-tuning of Large Language Models [21.559090305077273]
  FedLLMは、データのプライバシを保持しながら、協調的なモデル適応のための有望な道を提供する。 FedLLMを厳格に評価するために、既存の微調整データセットと評価ベンチマークを徹底的にレビューする。 我々は、重要なオープン課題を特定し、FedLLMの今後の進歩を促進するための有望な研究の方向性を概説する。
  論文  参考訳（メタデータ） (2025-03-15T06:52:10Z)
• LLMs are Also Effective Embedding Models: An In-depth Overview [41.34518828980852]
  大規模言語モデル(LLM)は、様々なタスクで最先端のパフォーマンスを達成することによって、自然言語処理に革命をもたらした。 近年、埋め込みモデルとしての有効性が注目され、ELMoやBERTのような従来のエンコーダのみのモデルから、GPT、LLaMA、Mistralのようなデコーダのみの大規模LLMへとパラダイムシフトした。
  論文  参考訳（メタデータ） (2024-12-17T06:48:24Z)
• Recent Advances in Federated Learning Driven Large Language Models: A Survey on Architecture, Performance, and Security [24.969739515876515]
  Federated Learning(FL)は、データプライバシを保持し、通信オーバーヘッドを最小限に抑えながら、大規模言語モデル(LLM)を分散的にトレーニングするための有望なパラダイムを提供する。 我々は、摂動に基づく手法、モデル分解、漸進的再学習を含む、連合LLMにおける未学習を可能にする様々な戦略についてレビューする。 本調査では, 現実の展開に向けて, 安全で適応性があり, 高性能なLLMシステムの開発に向けた重要な研究方向を明らかにする。
  論文  参考訳（メタデータ） (2024-06-14T08:40:58Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。