論文の概要: A Survey on Split Learning for LLM Fine-Tuning: Models, Systems, and Privacy Optimizations

• arxiv url: http://arxiv.org/abs/2604.24468v1
• Date: Mon, 27 Apr 2026 13:36:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:08.022322
• Title: A Survey on Split Learning for LLM Fine-Tuning: Models, Systems, and Privacy Optimizations
• Title（参考訳）: LLMファインチューニングのための分割学習に関する調査:モデル,システム,プライバシ最適化
• Authors: Zihan Liu, Yizhen Wang, Rui Wang, Xiu Tang, Sai Wu,
• Abstract要約: ファインチューニングは、特定のアプリケーションのために大きな言語モデル(LLM)をアンロックするが、その高い計算コストは、リソースに制約のある組織には届かないことが多い。 有望な解決策は、クライアントとサーバ間でモデルを分割するLDM微調整のための分割学習である。 本稿では,LLMファインチューニングのための分割学習に関する最初の広範な調査について述べる。
• 参考スコア（独自算出の注目度）: 21.18557996034125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning unlocks large language models (LLMs) for specialized applications, but its high computational cost often puts it out of reach for resource-constrained organizations. While cloud platforms could provide the needed resources, data privacy concerns make sharing sensitive information with third parties risky. A promising solution is split learning for LLM fine-tuning, which divides the model between clients and a server, allowing collaborative and secure training through exchanged intermediate data, thus enabling resource-constrained participants to adapt LLMs safely. % In light of this, a growing body of literature has emerged to advance this paradigm, introducing varied model methods, system optimizations, and privacy defense-attack techniques for split learning. To bring clarity and direction to the field, a comprehensive survey is needed to classify, compare, and critique these diverse approaches. This paper fills the gap by presenting the first extensive survey dedicated to split learning for LLM fine-tuning. We propose a unified, fine-grained training pipeline to pinpoint key operational components and conduct a systematic review of state-of-the-art work across three core dimensions: model-level optimization, system-level efficiency, and privacy preservation. Through this structured taxonomy, we establish a foundation for advancing scalable, robust, and secure collaborative LLM adaptation.
• Abstract（参考訳）: ファインチューニングは、特定のアプリケーションのために大きな言語モデル(LLM)をアンロックするが、その高い計算コストは、リソースに制約のある組織には届かないことが多い。 クラウドプラットフォームは必要なリソースを提供する可能性があるが、データプライバシに関する懸念は、機密情報をサードパーティと共有するリスクを負わせる。 クライアントとサーバの間でモデルを分割し、交換された中間データによる協調的かつセキュアなトレーニングを可能にし、リソース制約のある参加者がLLMを安全に適応できるようにする。 %) を考慮し, このパラダイムを推し進め, 多様なモデル手法, システム最適化, 分割学習のためのプライバシ・ディフェンス・アタック技術を導入している。 分野に明確さと方向性をもたらすためには、これらの多様なアプローチを分類し、比較し、批判するために包括的な調査が必要である。 本稿は, LLMファインチューニングのための分割学習に関する調査を初めて実施することによって, ギャップを埋めるものである。 我々は、重要な運用コンポーネントをピンポイントする統一されたきめ細かいトレーニングパイプラインを提案し、モデルレベルの最適化、システムレベルの効率、プライバシ保護という3つの中核領域にわたる最先端の作業の体系的なレビューを行う。 この構造的分類学を通じて、我々はスケーラブルで堅牢でセキュアなLLM適応の基盤を確立する。

関連論文リスト

• Oblivionis: A Lightweight Learning and Unlearning Framework for Federated Large Language Models [32.059157903736754]
  大規模言語モデル(LLM)は、フェデレートラーニング(FL)を活用して、プライベートなタスク固有のデータセットを微調整に利用している。 Oblivionisは、クライアントが特定のプライベートデータを選択的に削除できる軽量学習およびアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-08-12T12:02:53Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• Federated In-Context LLM Agent Learning [3.4757641432843487]
  大規模言語モデル(LLM)は、論理的推論、ツールの使用、エージェントとしての外部システムとの相互作用を可能にすることによって、インテリジェントなサービスに革命をもたらした。 本稿では,プライバシ保護型フェデレーション・イン・コンテクスト LLM Agent Learning (FICAL) アルゴリズムを提案する。 その結果、FICALは、他のSOTAベースラインと比較して競争性能が優れており、通信コストの大幅な削減は、$mathbf3.33times105$倍であることがわかった。
  論文  参考訳（メタデータ） (2024-12-11T03:00:24Z)
• Recent Advances in Federated Learning Driven Large Language Models: A Survey on Architecture, Performance, and Security [24.969739515876515]
  Federated Learning(FL)は、データプライバシを保持し、通信オーバーヘッドを最小限に抑えながら、大規模言語モデル(LLM)を分散的にトレーニングするための有望なパラダイムを提供する。 我々は、摂動に基づく手法、モデル分解、漸進的再学習を含む、連合LLMにおける未学習を可能にする様々な戦略についてレビューする。 本調査では, 現実の展開に向けて, 安全で適応性があり, 高性能なLLMシステムの開発に向けた重要な研究方向を明らかにする。
  論文  参考訳（メタデータ） (2024-06-14T08:40:58Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。