論文の概要: PAE MobiLLM: Privacy-Aware and Efficient LLM Fine-Tuning on the Mobile Device via Additive Side-Tuning

• arxiv url: http://arxiv.org/abs/2507.01216v1
• Date: Tue, 01 Jul 2025 22:27:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.950446
• Title: PAE MobiLLM: Privacy-Aware and Efficient LLM Fine-Tuning on the Mobile Device via Additive Side-Tuning
• Title（参考訳）: PAE MobiLLM:アダプティブサイドチューニングによるモバイルデバイス上でのプライバシ意識と効率的なLDMファインチューニング
• Authors: Xingke Yang, Liang Li, Zhiyi Wan, Sicong Li, Hao Wang, Xiaoqi Qi, Jiang Liu, Tomoaki Ohtsuki, Xin Fu, Miao Pan,
• Abstract要約: PAE MobiLLM は、プライバシを意識した効率的な LLM FT メソッドであり、サーバアシストの付加的なサイドチューニングによってモバイルデバイスにデプロイできる。 サーバ側でアクティベーションキャッシュを統合することで、サーバが過去のアクティベーションを再利用し、繰り返し行われるデータサンプルのために、モバイルデバイスがフォワードパスを計算しないようにする。 最後に、PAE MobiLLMは追加のアダプタサイドネットワーク設計を導入し、デバイス定義の予測差に基づいて、サーバがアダプタモジュールをトレーニングする。
• 参考スコア（独自算出の注目度）: 23.15414219447242
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is a huge gap between numerous intriguing applications fostered by on-device large language model (LLM) fine-tuning (FT) from fresh mobile data and the limited resources of a mobile device. While existing server-assisted methods (e.g., split learning or side-tuning) may enable LLM FT on the local mobile device, they suffer from heavy communication burdens of activation transmissions, and may disclose data, labels or fine-tuned models to the server. To address those issues, we develop PAE MobiLLM, a privacy-aware and efficient LLM FT method which can be deployed on the mobile device via server-assisted additive side-tuning. To further accelerate FT convergence and improve computing efficiency, PAE MobiLLM integrates activation caching on the server side, which allows the server to reuse historical activations and saves the mobile device from repeatedly computing forward passes for the recurring data samples. Besides, to reduce communication cost, PAE MobiLLM develops a one-token (i.e., ``pivot'' token) activation shortcut that transmits only a single activation dimension instead of full activation matrices to guide the side network tuning. Last but not least, PAE MobiLLM introduces the additive adapter side-network design which makes the server train the adapter modules based on device-defined prediction differences rather than raw ground-truth labels. In this way, the server can only assist device-defined side-network computing, and learn nothing about data, labels or fine-tuned models.
• Abstract（参考訳）: デバイス上の大規模言語モデル(LLM)ファインチューニング(FT)によって育成される多くの興味深いアプリケーションと、モバイルデバイスの限られたリソースとの間には、大きなギャップがある。 既存のサーバ支援手法(例えばスプリットラーニングやサイドチューニング)は、ローカルモバイルデバイス上でLLM FTを有効にするが、アクティベーショントランスミッションの通信負荷に悩まされ、データ、ラベル、微調整されたモデルをサーバに開示する。 これらの問題に対処するため,プライバシを意識し,かつ効率的なLLM FT方式であるPAE MobiLLMを開発した。 PAE MobiLLMは、FT収束をさらに加速し、計算効率を向上させるため、サーバ側でアクティベーションキャッシュを統合し、サーバが過去のアクティベーションを再利用できるようにし、繰り返し発生するデータサンプルのフォワードパスからモバイルデバイスを節約する。 さらに通信コストを削減するため、PEE MobiLLMは、サイドネットワークチューニングを導くために、完全なアクティベーション行列の代わりに単一のアクティベーション次元だけを送信するワンツーケン(すなわち ``pivot''トークン)アクティベーションショートカットを開発する。 最後に、PAE MobiLLMは、追加のアダプタサイドネットワーク設計を導入し、サーバは、生の接地木ラベルではなく、デバイス定義の予測差に基づいてアダプタモジュールをトレーニングする。 このようにして、サーバはデバイス定義のサイドネットワークコンピューティングのみを支援し、データやラベル、微調整されたモデルについては何も学べない。

関連論文リスト

• MobiLLM: Enabling LLM Fine-Tuning on the Mobile Device via Server Assisted Side Tuning [45.49178219392948]
  モバイルデバイスでの大規模言語モデル(LLM)の微調整は、極めて高いメモリ要求と遅いトレーニング速度のため、大きな課題となる。 サーバ支援サイドチューニングにより,モバイル端末上でメモリ効率の高いトランスフォーマーLEMの微調整を可能にするMobiLLMを提案する。
  論文  参考訳（メタデータ） (2025-02-27T07:58:02Z)
• WDMoE: Wireless Distributed Mixture of Experts for Large Language Models [68.45482959423323]
  大規模言語モデル(LLM)は様々な自然言語処理タスクにおいて大きな成功を収めた。 本稿では,無線ネットワーク上での基地局(BS)およびモバイルデバイスにおけるエッジサーバ間のLLMの協調展開を実現するために,無線分散Mixture of Experts(WDMoE)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-11-11T02:48:00Z)
• PalmBench: A Comprehensive Benchmark of Compressed Large Language Models on Mobile Platforms [11.87161637895978]
  ユーザがモバイルデバイス上で大きな言語モデルを評価することができる軽量でオールインワンな自動ベンチマークフレームワークを紹介します。 ハードウェア能力の異なる複数のモバイルプラットフォームに対して、様々な量子化構成(重みとアクティベーションの両方)の異なる様々な人気のあるLCMのベンチマークを提供する。
  論文  参考訳（メタデータ） (2024-10-05T03:37:07Z)
• FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model [48.33280660752336]
  大規模言語モデル(LLM)は、適切なデータで微調整した後、多くのドメイン固有のタスクで素晴らしいパフォーマンスを示す。 多くのドメイン固有のデータは、プライベートに複数の所有者に分散される。 我々は,フェデレート学習のための資源効率の高いLLM微調整手法であるFedBiOTを紹介する。
  論文  参考訳（メタデータ） (2024-06-25T16:45:47Z)
• When Large Language Model Agents Meet 6G Networks: Perception, Grounding, and Alignment [100.58938424441027]
  モバイル端末とエッジサーバの協調を利用した6GネットワークにおけるAIエージェントの分割学習システムを提案する。 提案システムでは,LLMのための新しいモデルキャッシングアルゴリズムを導入し,コンテキストにおけるモデル利用を改善する。
  論文  参考訳（メタデータ） (2024-01-15T15:20:59Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• Confidant: Customizing Transformer-based LLMs via Collaborative Edge Training [18.526329975259483]
  トランスフォーマーベースの大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて印象的な機能を示している。 コンピューティング、メモリ、エネルギー予算に制限のあるモバイルエッジデバイスにLSMをデプロイし、微調整することは困難である。 我々は,コモディティモバイルデバイス上での最先端のLCMをカスタマイズするためのマルチバックエンド協調学習フレームワークであるConfidantを提案する。
  論文  参考訳（メタデータ） (2023-11-22T13:20:59Z)
• Revolutionizing Mobile Interaction: Enabling a 3 Billion Parameter GPT LLM on Mobile [0.0]
  本稿では, 数十億のパラメータを持つLCMを, ネットワーク接続のないモバイルデバイス上で直接実行できる未来を想定する, LLM推論に対する革新的なアプローチを提案する。 この記事は、30億のパラメータを持つ微調整のGPT LLMを紹介し、4GBのメモリを持つデバイス上でスムーズに動作可能である。 ネイティブコードとモデル量子化技術の統合により、アプリケーションは汎用アシスタントとして機能するだけでなく、テキスト対アクション機能とのシームレスなモバイルインタラクションを促進する。
  論文  参考訳（メタデータ） (2023-09-29T16:30:49Z)
• FwdLLM: Efficient FedLLM using Forward Gradient [8.520892692833293]
  FwdLLMはFedLLMの効率を高めるために設計された革新的なFLプロトコルである。 FwdLLMはバックプロパゲーション(BP)なしのトレーニング手法を採用しており、デバイスは摂動推論のみを実行する必要がある。
  論文  参考訳（メタデータ） (2023-08-26T14:36:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。