論文の概要: Fed MobiLLM: Efficient Federated LLM Fine-Tuning over Heterogeneous Mobile Devices via Server Assisted Side-Tuning

• arxiv url: http://arxiv.org/abs/2508.06765v1
• Date: Sat, 09 Aug 2025 00:41:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.53884
• Title: Fed MobiLLM: Efficient Federated LLM Fine-Tuning over Heterogeneous Mobile Devices via Server Assisted Side-Tuning
• Title（参考訳）: Fed MobiLLM:サーバアシストサイドチューニングによる不均一モバイルデバイス上での高速フェデレーションLDMファインチューニング
• Authors: Xingke Yang, Liang Li, Sicong Li, Liwei Guan, Hao Wang, Xiaoqi Qi, Jiang Liu, Xin Fu, Miao Pan,
• Abstract要約: 不均一なモバイルデバイス上の大規模言語モデル(LLM)は、パーソナライズされたインテリジェンスの潜在的な応用を促進する。 従来のLLM FTは、モバイルハードウェア上での計算とメモリの負荷を禁止している。 我々は,多種多様な計算/通信速度と局所モデルアーキテクチャを持つモバイルデバイス間での効率的なLLM FTを実現するための新しい設計であるFed MobiLLMを提案する。
• 参考スコア（独自算出の注目度）: 16.47223778897796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Collaboratively fine-tuning (FT) large language models (LLMs) over heterogeneous mobile devices fosters immense potential applications of personalized intelligence. However, such a vision faces critical system challenges. Conventional federated LLM FT approaches place prohibitive computational and memory burdens on mobile hardware, and their synchronous model aggregation protocols stall for slower devices. In this paper, we propose Fed MobiLLM, a novel design to facilitate efficient federated LLM FT across mobile devices with diverse computing/communication speeds and local model architectures. In particular, Fed MobiLLM implements a pioneering server-assisted federated side-tuning paradigm. Briefly, mobile devices perform lightweight forward propagation computations on local data using their frozen pre-scaled backbone LLMs, and then upload selected intermediate activations. The server trains a shared side-network independently, eliminating client-side backpropagation and enabling asynchronous updates. To bridge model heterogeneity across different devices, we introduce an adaptive layer-wise feature alignment method, which ensures consistent representations for collaboratively tuning a shared side network. Extensive experimental results demonstrate that Fed MobiLLM can maintain robust fine-tuning performance while achieving extremely low on-device memory, with at least 95.2% reduction in computation overhead, 93.2% reduction in communication costs and 5.1x faster convergence compared to existing methods, validating its efficacy for practical LLM adaptation over heterogeneous mobile devices.
• Abstract（参考訳）: 不均一なモバイルデバイス上での協調的微調整(FT)大言語モデル(LLM)は、パーソナライズされたインテリジェンスの潜在的な応用を促進する。 しかし、このようなビジョンは重要なシステム課題に直面している。 従来のLLM FTは、モバイルハードウェアにおける計算とメモリの負荷を禁止し、同期モデルアグリゲーションプロトコルは遅いデバイスでは停止する。 本稿では,多種多様な計算/通信速度と局所モデルアーキテクチャを備えたモバイル機器間の効率的なフェデレーションLLM FTを実現するための新しい設計であるFed MobiLLMを提案する。 特に、Fed MobiLLMは、サーバー支援のフェデレーションサイドチューニングパラダイムを先駆的に実装している。 簡単に言えば、モバイルデバイスは、凍結したバックボーンLLMを使用して、ローカルデータ上で軽量な前方伝播計算を行い、選択した中間活性化をアップロードする。 サーバは、クライアント側のバックプロパゲーションを排除し、非同期更新を可能にする。 異なるデバイス間での不均一性をブリッジするために、共有側ネットワークを協調的に調整するための一貫した表現を保証する適応層ワイドな特徴アライメント手法を導入する。 大規模な実験結果から、Fed MobiLLMはデバイス上のメモリを極端に低く保ち、計算オーバーヘッドを95.2%削減し、通信コストを93.2%削減し、既存の手法に比べて5.1倍高速収束を実現し、不均一なモバイルデバイス上でのLCM適用の有効性を検証した。

関連論文リスト

• PAE MobiLLM: Privacy-Aware and Efficient LLM Fine-Tuning on the Mobile Device via Additive Side-Tuning [20.885788930831563]
  PAE MobiLLM は、プライバシを意識した効率的な LLM FT メソッドであり、サーバ支援の付加的なサイドチューニングによってモバイルデバイスにデプロイされる。 PAE MobiLLMは、FT収束をさらに加速し、計算効率を向上させるため、サーバ側でアクティベーションキャッシュを統合する。 PAE MobiLLMは通信コストを削減するために、損失計算に関わるトークンのみを送信するアクティベーションショートカットを開発する。
  論文  参考訳（メタデータ） (2025-07-01T22:27:21Z)
• MobiLLM: Enabling LLM Fine-Tuning on the Mobile Device via Server Assisted Side Tuning [45.49178219392948]
  モバイルデバイスでの大規模言語モデル(LLM)の微調整は、極めて高いメモリ要求と遅いトレーニング速度のため、大きな課題となる。 サーバ支援サイドチューニングにより,モバイル端末上でメモリ効率の高いトランスフォーマーLEMの微調整を可能にするMobiLLMを提案する。
  論文  参考訳（メタデータ） (2025-02-27T07:58:02Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• FwdLLM: Efficient FedLLM using Forward Gradient [8.520892692833293]
  FwdLLMはFedLLMの効率を高めるために設計された革新的なFLプロトコルである。 FwdLLMはバックプロパゲーション(BP)なしのトレーニング手法を採用しており、デバイスは摂動推論のみを実行する必要がある。
  論文  参考訳（メタデータ） (2023-08-26T14:36:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。