Fugu-MT 論文翻訳(概要): PAE MobiLLM: Privacy-Aware and Efficient LLM Fine-Tuning on the Mobile Device via Additive Side-Tuning

論文の概要: PAE MobiLLM: Privacy-Aware and Efficient LLM Fine-Tuning on the Mobile Device via Additive Side-Tuning

arxiv url: http://arxiv.org/abs/2507.01216v2
Date: Sat, 09 Aug 2025 00:12:01 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-12 16:55:53.36665
Title: PAE MobiLLM: Privacy-Aware and Efficient LLM Fine-Tuning on the Mobile Device via Additive Side-Tuning
Title（参考訳）: PAE MobiLLM:アダプティブサイドチューニングによるモバイルデバイス上でのプライバシ意識と効率的なLDMファインチューニング
Authors: Xingke Yang, Liang Li, Zhiyi Wan, Sicong Li, Xiaoqi Qi, Jiang Liu, Tomoaki Ohtsuki, Xin Fu, Miao Pan,
Abstract要約: PAE MobiLLM は、プライバシを意識した効率的な LLM FT メソッドであり、サーバ支援の付加的なサイドチューニングによってモバイルデバイスにデプロイされる。 PAE MobiLLMは、FT収束をさらに加速し、計算効率を向上させるため、サーバ側でアクティベーションキャッシュを統合する。 PAE MobiLLMは通信コストを削減するために、損失計算に関わるトークンのみを送信するアクティベーションショートカットを開発する。
参考スコア（独自算出の注目度）: 20.885788930831563
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: There is a huge gap between numerous intriguing applications fostered by on-device large language model (LLM) fine-tuning (FT) from fresh mobile data and the limited resources of a mobile device. While existing server-assisted methods (e.g., split learning or side-tuning) may enable LLM FT on the local mobile device, they suffer from heavy communication burdens of activation transmissions, and may disclose data and labels to the server. To address those issues, we develop PAE MobiLLM, a a privacy-aware and efficient LLM FT method which can be deployed on the mobile device via server-assisted additive side-tuning. To further accelerate FT convergence and improve computing efficiency, PAE MobiLLM integrates activation caching on the server side, which allows the server to reuse historical activations and saves the mobile device from repeatedly computing forward passes for the recurring data samples. Besides, to reduce communication cost, PAE MobiLLM develops an activation shortcut that transmits only the token involved in the loss calculation instead of full activation matrices to guide the side network tuning. Last but not least, PAE MobiLLM introduces the additive adapter side-network design which makes the server train the adapter modules based on device-defined prediction differences rather than raw ground-truth labels. In this way, the server can only assist device-defined side-network computing, and learn nothing about data and labels. Extensive experimental results demonstrate PAE MobiLLM's superiority.
Abstract（参考訳）: デバイス上の大規模言語モデル(LLM)ファインチューニング(FT)によって育成される多くの興味深いアプリケーションと,モバイルデバイスの限られたリソースとの間には,大きなギャップがある。既存のサーバ支援手法(例えば、分割学習やサイドチューニング)は、ローカルモバイルデバイス上でLLM FTを可能にするが、アクティベーション送信の通信負荷が重いため、サーバにデータやラベルを開示する可能性がある。これらの問題に対処するため,プライバシを意識し,かつ効率的なLCM FT方式である PAE MobiLLM を開発した。 PAE MobiLLMは、FT収束をさらに加速し、計算効率を向上させるため、サーバ側でアクティベーションキャッシュを統合し、サーバが過去のアクティベーションを再利用できるようにし、繰り返し発生するデータサンプルのフォワードパスからモバイルデバイスを節約する。さらに通信コストを削減するため、PAE MobiLLMは、完全なアクティベーション行列の代わりに損失計算に関与するトークンのみを送信し、サイドネットワークチューニングをガイドするアクティベーションショートカットを開発する。最後に、PAE MobiLLMは、追加のアダプタサイドネットワーク設計を導入し、サーバは、生の接地木ラベルではなく、デバイス定義の予測差に基づいてアダプタモジュールをトレーニングする。このようにして、サーバはデバイス定義のサイドネットワークコンピューティングのみを支援し、データやラベルについては何も学べない。実験の結果, PAE MobiLLMの優位性が確認された。

関連論文リスト

MobiLLM: Enabling LLM Fine-Tuning on the Mobile Device via Server Assisted Side Tuning [45.49178219392948]
モバイルデバイスでの大規模言語モデル(LLM)の微調整は、極めて高いメモリ要求と遅いトレーニング速度のため、大きな課題となる。サーバ支援サイドチューニングにより,モバイル端末上でメモリ効率の高いトランスフォーマーLEMの微調整を可能にするMobiLLMを提案する。
論文参考訳（メタデータ） (2025-02-27T07:58:02Z)
WDMoE: Wireless Distributed Mixture of Experts for Large Language Models [68.45482959423323]
大規模言語モデル(LLM)は様々な自然言語処理タスクにおいて大きな成功を収めた。本稿では,無線ネットワーク上での基地局(BS)およびモバイルデバイスにおけるエッジサーバ間のLLMの協調展開を実現するために,無線分散Mixture of Experts(WDMoE)アーキテクチャを提案する。
論文参考訳（メタデータ） (2024-11-11T02:48:00Z)
PalmBench: A Comprehensive Benchmark of Compressed Large Language Models on Mobile Platforms [11.87161637895978]
ユーザがモバイルデバイス上で大きな言語モデルを評価することができる軽量でオールインワンな自動ベンチマークフレームワークを紹介します。ハードウェア能力の異なる複数のモバイルプラットフォームに対して、様々な量子化構成(重みとアクティベーションの両方)の異なる様々な人気のあるLCMのベンチマークを提供する。
論文参考訳（メタデータ） (2024-10-05T03:37:07Z)
FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model [48.33280660752336]
大規模言語モデル(LLM)は、適切なデータで微調整した後、多くのドメイン固有のタスクで素晴らしいパフォーマンスを示す。多くのドメイン固有のデータは、プライベートに複数の所有者に分散される。我々は,フェデレート学習のための資源効率の高いLLM微調整手法であるFedBiOTを紹介する。
論文参考訳（メタデータ） (2024-06-25T16:45:47Z)
When Large Language Model Agents Meet 6G Networks: Perception, Grounding, and Alignment [100.58938424441027]
モバイル端末とエッジサーバの協調を利用した6GネットワークにおけるAIエージェントの分割学習システムを提案する。提案システムでは,LLMのための新しいモデルキャッシングアルゴリズムを導入し,コンテキストにおけるモデル利用を改善する。
論文参考訳（メタデータ） (2024-01-15T15:20:59Z)
Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
論文参考訳（メタデータ） (2023-12-11T13:03:21Z)
Confidant: Customizing Transformer-based LLMs via Collaborative Edge Training [18.526329975259483]
トランスフォーマーベースの大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて印象的な機能を示している。コンピューティング、メモリ、エネルギー予算に制限のあるモバイルエッジデバイスにLSMをデプロイし、微調整することは困難である。我々は,コモディティモバイルデバイス上での最先端のLCMをカスタマイズするためのマルチバックエンド協調学習フレームワークであるConfidantを提案する。
論文参考訳（メタデータ） (2023-11-22T13:20:59Z)
Revolutionizing Mobile Interaction: Enabling a 3 Billion Parameter GPT LLM on Mobile [0.0]
本稿では, 数十億のパラメータを持つLCMを, ネットワーク接続のないモバイルデバイス上で直接実行できる未来を想定する, LLM推論に対する革新的なアプローチを提案する。この記事は、30億のパラメータを持つ微調整のGPT LLMを紹介し、4GBのメモリを持つデバイス上でスムーズに動作可能である。ネイティブコードとモデル量子化技術の統合により、アプリケーションは汎用アシスタントとして機能するだけでなく、テキスト対アクション機能とのシームレスなモバイルインタラクションを促進する。
論文参考訳（メタデータ） (2023-09-29T16:30:49Z)
FwdLLM: Efficient FedLLM using Forward Gradient [8.520892692833293]
FwdLLMはFedLLMの効率を高めるために設計された革新的なFLプロトコルである。 FwdLLMはバックプロパゲーション(BP)なしのトレーニング手法を採用しており、デバイスは摂動推論のみを実行する必要がある。
論文参考訳（メタデータ） (2023-08-26T14:36:30Z)
Accelerating Asynchronous Federated Learning Convergence via Opportunistic Mobile Relaying [3.802258033231335]
本稿では,非同期フェデレート学習(FL)アルゴリズムの収束性能に及ぼすモビリティの影響について検討する。モビリティを活用することで、クライアントはリレーとして機能する別のクライアントを介して、サーバと間接的に通信できることを示す。我々はFedMobileと呼ばれる新しいFLアルゴリズムを提案し、機会論的リレーを取り入れ、いつ、どのようにリレーするかといった重要な問題に対処する。
論文参考訳（メタデータ） (2022-06-09T19:23:20Z)
Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文参考訳（メタデータ） (2021-12-05T11:17:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。