論文の概要: SplitFrozen: Split Learning with Device-side Model Frozen for Fine-Tuning LLM on Heterogeneous Resource-Constrained Devices

• arxiv url: http://arxiv.org/abs/2503.18986v1
• Date: Sun, 23 Mar 2025 08:03:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:51:34.032567
• Title: SplitFrozen: Split Learning with Device-side Model Frozen for Fine-Tuning LLM on Heterogeneous Resource-Constrained Devices
• Title（参考訳）: SplitFrozen: 異種資源制約デバイス上での微調整LDMのためのデバイス側モデル凍結による分割学習
• Authors: Jian Ma, Xinchen Lyu, Jun Jiang, Qimei Cui, Haipeng Yao, Xiaofeng Tao,
• Abstract要約: プライベート、オンデバイスデータに基づく細調整された大型言語モデル(LLM)は、パーソナライズされたパーソナライズされたAIエージェントを強化することができる。 本稿では,資源制約のあるエッジデバイス上で効率的な微調整を可能にする分割学習フレームワークSplitFrozenを提案する。 MRPC、MNLIマッチング、SST-2データセットによるGPT-2の実験では、極めて不均衡なデータの下で、SplitFrozenはFedLoRAとSplitLoRAの精度を69.4%上回っている。
• 参考スコア（独自算出の注目度）: 15.790762116995845
• License:
• Abstract: Fine-tuning large language models (LLMs) on private, on-device data can empower tailored personalized AI agents. However, fine-tuning LLMs on resource-constrained edge devices faces significant challenges, including excessive computation overhead, device heterogeneity, and data imbalance. This paper proposes SplitFrozen, a split learning framework that enables efficient LLM fine-tuning by strategically freezing device-side model layers while centralizing parameter-efficient fine-tuning on the server. Our framework partitions LLMs into device-side frozen layers and server-side fine-tuning layers, where heterogeneous resource-constrained devices execute only forward propagation. To minimize server-side training costs, we integrate Low-Rank Adaptation (LoRA) into the server-side layers. A pipeline parallelism strategy further optimizes training efficiency by decoupling device-server computations and leveraging decomposed backward propagation. Experiments on GPT-2 with the MRPC, MNLI-matched, and SST-2 datasets demonstrate that SplitFrozen outperforms FedLoRA and SplitLoRA by 69.4\% model accuracy under extremely imbalanced data, while reducing up to 86.8\% device-side computations and 50.2\% total training time. Experiments also validate the scalability of SplitFrozen on content generation task using Llama-3.2 model on GSM8K dataset.
• Abstract（参考訳）: プライベート、オンデバイスデータに基づく細調整された大型言語モデル(LLM)は、パーソナライズされたパーソナライズされたAIエージェントを強化することができる。 しかし、リソース制約のあるエッジデバイス上での微調整LDMは、過剰な計算オーバーヘッド、デバイスの不均一性、データ不均衡など、重大な課題に直面している。 本稿では,サーバ上でパラメータ効率のよい微調整を集中化しながら,デバイス側モデル層を戦略的に凍結することにより,効率的なLCM微調整を可能にする分割学習フレームワークであるSplitFrozenを提案する。 我々のフレームワークはLCMをデバイス側の凍結層とサーバ側の微調整層に分割する。 サーバ側のトレーニングコストを最小限に抑えるため、サーバ側のレイヤにLoRA(Lo-Rank Adaptation)を統合する。 パイプライン並列化戦略は、デバイスサーバの計算を分離し、分解された後方伝播を活用することにより、トレーニング効率をさらに最適化する。 MRPC、MNLIマッチング、SST-2データセットによるGPT-2の実験では、SplitFrozenは極めて不均衡なデータの下でFedLoRAとSplitLoRAの精度を69.4倍に向上し、86.8倍のデバイスサイド計算と50.2倍のトレーニング時間が短縮された。 実験では、GSM8Kデータセット上のLlama-3.2モデルを使用して、コンテンツ生成タスクにおけるSplitFrozenのスケーラビリティを検証する。

関連論文リスト

• Efficient Deployment of Large Language Models on Resource-constrained Devices [12.644230479753476]
  様々な下流タスクのために、リソース制約されたデバイス上でLLM(Large Language Models)を微調整する必要がある。 FedSpineは、PEFT(Efficient Fine-Tuning)と構造化プルーニングを組み合わせたフレームワークで、リソース制約のあるデバイスにLLMを効率的にデプロイする。 我々はFedSpineが1.4Times$$$timesで微調整を高速化し、最終的な精度を他のベースラインと比べて同じ間隔で0.4%-4.5%向上できることを示した。
  論文  参考訳（メタデータ） (2025-01-05T04:38:11Z)
• Federated Split Learning with Model Pruning and Gradient Quantization in Wireless Networks [7.439160287320074]
  Federated split learning (FedSL)は、モデル分割によるエッジデバイスとサーバ間の協調トレーニングを実装している。 本稿では,リソース制約のあるエッジデバイスのトレーニング負担を軽減する軽量なFedSL方式を提案する。 提案手法の収束性能を定量化するために理論的解析を行う。
  論文  参考訳（メタデータ） (2024-12-09T11:43:03Z)
• Split Federated Learning Over Heterogeneous Edge Devices: Algorithm and Optimization [7.013344179232109]
  Split Learning(SL)は、リソース制約のあるデバイスが生データを共有せずにモデルをトレーニングできるようにする、有望なコラボレーティブ機械学習アプローチである。 現在のSLアルゴリズムは、トレーニング効率の限界に直面し、長時間のレイテンシに悩まされている。 本稿では、リソース制約のあるクライアントが、パーソナライズされたクライアントサイドモデルを並列にトレーニングできる、異種分散フェデレーションラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-21T07:46:01Z)
• Enabling Efficient On-Device Fine-Tuning of LLMs Using Only Inference Engines [17.539008562641303]
  大規模言語モデル(LLM)は現在、大規模なクラウドサーバ上で事前トレーニングされ、微調整されている。 次のフロンティアはLLMパーソナライズであり、ファンデーションモデルをユーザ/タスク固有のデータで微調整することができる。 リソース制約のあるエッジデバイスの微調整は、かなりのメモリと計算要求のために大きな課題となる。
  論文  参考訳（メタデータ） (2024-09-23T20:14:09Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• Distributed Inference and Fine-tuning of Large Language Models Over The Internet [91.00270820533272]
  大規模言語モデル(LLM)は、多くのNLPタスクで有用であり、サイズが向上する。 これらのモデルはハイエンドのハードウェアを必要とするため、ほとんどの研究者にはアクセスできない。 本研究では,システムスループットの最大化のためにデバイスを自動的に割り当てるフォールトトレラント推論アルゴリズムとロードバランシングプロトコルを開発する。
  論文  参考訳（メタデータ） (2023-12-13T18:52:49Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• Federated Split Learning with Only Positive Labels for resource-constrained IoT environment [4.055662817794178]
  分散コラボレーティブ機械学習(DCML)は、ディープラーニングモデルをトレーニングするためのIoT(Internet of Things)ドメインにおいて、有望な方法である。 分割学習 (SFL) は, デバイスが限られた計算能力を持つ場合に, 効率的な学習とテストに最も適している。 SFPLは、リソース制約のIoTデバイスが正のラベル付きデータしか持たない場合、SFLよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-25T05:33:06Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。