論文の概要: SplitFT: An Adaptive Federated Split Learning System For LLMs Fine-Tuning

• arxiv url: http://arxiv.org/abs/2604.26388v1
• Date: Wed, 29 Apr 2026 07:58:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.30319
• Title: SplitFT: An Adaptive Federated Split Learning System For LLMs Fine-Tuning
• Title（参考訳）: SplitFT: LLMファインチューニングのための適応型フェデレーションスプリット学習システム
• Authors: Yimeng Shan, Zhaorui Zhang, Sheng Di, Yu Liu, Xiaoyi Lu, Benben Liu,
• Abstract要約: 本稿では,大規模言語モデル(LLM)の微調整のための適応型フェデレーション分割学習システムを提案する。 SplitFTでは、さまざまなクライアントがリソースに応じて異なるカットレイヤを設定し、モデルのパフォーマンスをトレーニングすることができる。 SplitFTはまた、通信オーバーヘッドを減らすために、カットレイヤーにおけるLoRAランクを下げることを提案する。
• 参考スコア（独自算出の注目度）: 10.295715791447678
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated Split Learning has been identified as an efficient approach to address the computational resource constraints of clients in classical federated learning, while guaranteeing data privacy for distributed model training across data owners. However, it faces some critical challenges when such a training strategy meets large language models (LLMs) for fine-tuning. Such challenges include setting the cutlayer adaptively across different clients to address the data and device heterogeneity issues, which affect the system performance significantly. In addition, efficiently reducing the communication overhead during the fine-tuning procedure is also another challenge. No work tries to address these challenges. To bridge this gap, we propose SplitTF, an adaptive federated split learning system for LLMs fine-tuning. SplitFT enables different clients to set different cut layers according to their computation resources and trained model performance. SplitFT also proposes to reduce the LoRA rank in cutlayer to reduce the communication overhead. In addition to simulating the heterogeneous data in real-world applications for our proposed split federated learning system, we propose a length-based Dirichlet approach to divide the training data into different clients. Extensive experimental results show that our proposed approach outperforms the state-of-the-art approach for fine-tuning time efficiency and model performance based on various popular benchmarks.
• Abstract（参考訳）: フェデレート・スプリット・ラーニングは、古典的なフェデレート・ラーニングにおいて、クライアントの計算リソースの制約に対処し、データ所有者間の分散モデルトレーニングのためのデータのプライバシを保証しながら、効率的なアプローチとして特定されている。 しかし、このようなトレーニング戦略が微調整のために大きな言語モデル(LLM)に適合する場合、いくつかの重大な課題に直面します。 このような課題には、データとデバイスの不均一性の問題に対処するために、異なるクライアント間でカット層を適応的に設定することが含まれる。 また、微調整手順における通信オーバーヘッドの削減も課題である。 これらの課題に対処しようとする作業はありません。 このギャップを埋めるために,LLMの微調整のための適応型フェデレーション分割学習システムであるSplitTFを提案する。 SplitFTでは、異なるクライアントが計算リソースとトレーニングされたモデルパフォーマンスに応じて異なるカットレイヤを設定することができる。 SplitFTはまた、通信オーバーヘッドを減らすために、カットレイヤーにおけるLoRAランクを下げることを提案する。 提案する分断フェデレーション学習システムのための実世界のアプリケーションにおける異種データのシミュレーションに加えて,トレーニングデータを異なるクライアントに分割する長さベースのディリクレ手法を提案する。 大規模な実験結果から,提案手法は様々なベンチマークに基づく微調整時間効率とモデル性能において,最先端の手法よりも優れていることが示された。

関連論文リスト

• Efficient Split Federated Learning for Large Language Models over Communication Networks [45.02252893286613]
  分散方式で訓練済みの大規模言語モデル(LLM)を微調整することで、リソース制約のあるエッジネットワークにおいて大きな課題が生じる。 本稿では,分割フェデレーション学習とパラメータ効率のよい微調整技術を統合する新しいフレームワークであるSflLLMを提案する。 モデル分割とローランク適応(LoRA)を活用することにより、SflLLMはエッジデバイスの計算負担を軽減する。
  論文  参考訳（メタデータ） (2025-04-20T16:16:54Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• MIRA: A Method of Federated MultI-Task Learning for LaRge LAnguage Models [29.655807841018497]
  大規模言語モデル(LLM)の微調整手法を提案する。 提案手法は,各クライアントモデルの構造を利用して,他のクライアントのタスクやデータ分散を考慮した学習手法を実現する。 実験結果は,異なるデータセットとモデルを用いて,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-20T22:24:40Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach [16.093068118849246]
  本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。 グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。 シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-08-26T11:10:54Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。