論文の概要: Fed MobiLLM: Efficient Federated LLM Fine-Tuning over Heterogeneous Mobile Devices via Server Assisted Side-Tuning

• arxiv url: http://arxiv.org/abs/2508.06765v1
• Date: Sat, 09 Aug 2025 00:41:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.53884
• Title: Fed MobiLLM: Efficient Federated LLM Fine-Tuning over Heterogeneous Mobile Devices via Server Assisted Side-Tuning
• Title（参考訳）: Fed MobiLLM:サーバアシストサイドチューニングによる不均一モバイルデバイス上での高速フェデレーションLDMファインチューニング
• Authors: Xingke Yang, Liang Li, Sicong Li, Liwei Guan, Hao Wang, Xiaoqi Qi, Jiang Liu, Xin Fu, Miao Pan,
• Abstract要約: 不均一なモバイルデバイス上の大規模言語モデル(LLM)は、パーソナライズされたインテリジェンスの潜在的な応用を促進する。 従来のLLM FTは、モバイルハードウェア上での計算とメモリの負荷を禁止している。 我々は,多種多様な計算/通信速度と局所モデルアーキテクチャを持つモバイルデバイス間での効率的なLLM FTを実現するための新しい設計であるFed MobiLLMを提案する。
• 参考スコア（独自算出の注目度）: 16.47223778897796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Collaboratively fine-tuning (FT) large language models (LLMs) over heterogeneous mobile devices fosters immense potential applications of personalized intelligence. However, such a vision faces critical system challenges. Conventional federated LLM FT approaches place prohibitive computational and memory burdens on mobile hardware, and their synchronous model aggregation protocols stall for slower devices. In this paper, we propose Fed MobiLLM, a novel design to facilitate efficient federated LLM FT across mobile devices with diverse computing/communication speeds and local model architectures. In particular, Fed MobiLLM implements a pioneering server-assisted federated side-tuning paradigm. Briefly, mobile devices perform lightweight forward propagation computations on local data using their frozen pre-scaled backbone LLMs, and then upload selected intermediate activations. The server trains a shared side-network independently, eliminating client-side backpropagation and enabling asynchronous updates. To bridge model heterogeneity across different devices, we introduce an adaptive layer-wise feature alignment method, which ensures consistent representations for collaboratively tuning a shared side network. Extensive experimental results demonstrate that Fed MobiLLM can maintain robust fine-tuning performance while achieving extremely low on-device memory, with at least 95.2% reduction in computation overhead, 93.2% reduction in communication costs and 5.1x faster convergence compared to existing methods, validating its efficacy for practical LLM adaptation over heterogeneous mobile devices.
• Abstract（参考訳）: 不均一なモバイルデバイス上での協調的微調整(FT)大言語モデル(LLM)は、パーソナライズされたインテリジェンスの潜在的な応用を促進する。 しかし、このようなビジョンは重要なシステム課題に直面している。 従来のLLM FTは、モバイルハードウェアにおける計算とメモリの負荷を禁止し、同期モデルアグリゲーションプロトコルは遅いデバイスでは停止する。 本稿では,多種多様な計算/通信速度と局所モデルアーキテクチャを備えたモバイル機器間の効率的なフェデレーションLLM FTを実現するための新しい設計であるFed MobiLLMを提案する。 特に、Fed MobiLLMは、サーバー支援のフェデレーションサイドチューニングパラダイムを先駆的に実装している。 簡単に言えば、モバイルデバイスは、凍結したバックボーンLLMを使用して、ローカルデータ上で軽量な前方伝播計算を行い、選択した中間活性化をアップロードする。 サーバは、クライアント側のバックプロパゲーションを排除し、非同期更新を可能にする。 異なるデバイス間での不均一性をブリッジするために、共有側ネットワークを協調的に調整するための一貫した表現を保証する適応層ワイドな特徴アライメント手法を導入する。 大規模な実験結果から、Fed MobiLLMはデバイス上のメモリを極端に低く保ち、計算オーバーヘッドを95.2%削減し、通信コストを93.2%削減し、既存の手法に比べて5.1倍高速収束を実現し、不均一なモバイルデバイス上でのLCM適用の有効性を検証した。

関連論文リスト

• MOBIUS: Big-to-Mobile Universal Instance Segmentation via Multi-modal Bottleneck Fusion and Calibrated Decoder Pruning [91.90342432541138]
  モデルサイズとトレーニングデータのスケールアップには、インスタンスレベルの知覚のための高度な基盤モデルがある。 資源制約されたプラットフォームにおける高い計算コスト制限。 我々は,高性能コンピューティングプラットフォームとモバイルデバイスの両方において,効率的なセグメンテーションのための新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-10-16T18:00:00Z)
• CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
  CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。 CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。 トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-09-24T07:54:01Z)
• PAE MobiLLM: Privacy-Aware and Efficient LLM Fine-Tuning on the Mobile Device via Additive Side-Tuning [20.885788930831563]
  PAE MobiLLM は、プライバシを意識した効率的な LLM FT メソッドであり、サーバ支援の付加的なサイドチューニングによってモバイルデバイスにデプロイされる。 PAE MobiLLMは、FT収束をさらに加速し、計算効率を向上させるため、サーバ側でアクティベーションキャッシュを統合する。 PAE MobiLLMは通信コストを削減するために、損失計算に関わるトークンのみを送信するアクティベーションショートカットを開発する。
  論文  参考訳（メタデータ） (2025-07-01T22:27:21Z)
• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• MobiLLM: Enabling LLM Fine-Tuning on the Mobile Device via Server Assisted Side Tuning [45.49178219392948]
  モバイルデバイスでの大規模言語モデル(LLM)の微調整は、極めて高いメモリ要求と遅いトレーニング速度のため、大きな課題となる。 サーバ支援サイドチューニングにより,モバイル端末上でメモリ効率の高いトランスフォーマーLEMの微調整を可能にするMobiLLMを提案する。
  論文  参考訳（メタデータ） (2025-02-27T07:58:02Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• Confidant: Customizing Transformer-based LLMs via Collaborative Edge Training [18.526329975259483]
  トランスフォーマーベースの大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて印象的な機能を示している。 コンピューティング、メモリ、エネルギー予算に制限のあるモバイルエッジデバイスにLSMをデプロイし、微調整することは困難である。 我々は,コモディティモバイルデバイス上での最先端のLCMをカスタマイズするためのマルチバックエンド協調学習フレームワークであるConfidantを提案する。
  論文  参考訳（メタデータ） (2023-11-22T13:20:59Z)
• FwdLLM: Efficient FedLLM using Forward Gradient [8.520892692833293]
  FwdLLMはFedLLMの効率を高めるために設計された革新的なFLプロトコルである。 FwdLLMはバックプロパゲーション(BP)なしのトレーニング手法を採用しており、デバイスは摂動推論のみを実行する必要がある。
  論文  参考訳（メタデータ） (2023-08-26T14:36:30Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。