論文の概要: Towards On-Device Personalization: Cloud-device Collaborative Data Augmentation for Efficient On-device Language Model

• arxiv url: http://arxiv.org/abs/2508.21313v1
• Date: Fri, 29 Aug 2025 02:33:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 19:45:10.920648
• Title: Towards On-Device Personalization: Cloud-device Collaborative Data Augmentation for Efficient On-device Language Model
• Title（参考訳）: オンデバイスパーソナライゼーションに向けて:効率的なオンデバイス言語モデルのためのクラウドデバイス協調データ拡張
• Authors: Zhaofeng Zhong, Wei Yuan, Liang Qu, Tong Chen, Hao Wang, Xiangyu Zhao, Hongzhi Yin,
• Abstract要約: CDCDA-PLMは、強力なクラウドベースのLLMのサポートにより、デバイス上でパーソナライズされた言語モデルをユーザデバイスにデプロイするためのフレームワークである。 実データと合成データの両方を用いて、パーソナライズされたオンデバイス言語モデル(LM)は、パラメータ効率の細かいチューニング(PEFT)モジュールを介して微調整される。
• 参考スコア（独自算出の注目度）: 43.13807038270687
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With the advancement of large language models (LLMs), significant progress has been achieved in various Natural Language Processing (NLP) tasks. However, existing LLMs still face two major challenges that hinder their broader adoption: (1) their responses tend to be generic and lack personalization tailored to individual users, and (2) they rely heavily on cloud infrastructure due to intensive computational requirements, leading to stable network dependency and response delay. Recent research has predominantly focused on either developing cloud-based personalized LLMs or exploring the on-device deployment of general-purpose LLMs. However, few studies have addressed both limitations simultaneously by investigating personalized on-device language models. To bridge this gap, we propose CDCDA-PLM, a framework for deploying personalized on-device language models on user devices with support from a powerful cloud-based LLM. Specifically, CDCDA-PLM leverages the server-side LLM's strong generalization capabilities to augment users' limited personal data, mitigating the issue of data scarcity. Using both real and synthetic data, A personalized on-device language models (LMs) is fine-tuned via parameter-efficient fine-tuning (PEFT) modules and deployed on users' local devices, enabling them to process queries without depending on cloud-based LLMs. This approach eliminates reliance on network stability and ensures high response speeds. Experimental results across six tasks in a widely used personalization benchmark demonstrate the effectiveness of CDCDA-PLM.
• Abstract（参考訳）: 大規模言語モデル(LLM)の進歩により、様々な自然言語処理(NLP)タスクにおいて大きな進歩が達成されている。 しかしながら、既存のLLMは、その広く採用を妨げる2つの大きな課題に直面している。(1) 応答は汎用的であり、個々のユーザに適したパーソナライゼーションが欠如する傾向にあり、(2) 計算集約的な要求のためにクラウドインフラストラクチャに大きく依存しているため、安定したネットワーク依存と応答遅延につながる。 最近の研究は、クラウドベースのパーソナライズ LLM の開発や、汎用 LLM のデバイス上での展開の探索に重点を置いている。 しかし、デバイス上でパーソナライズされた言語モデルを調べることで、両方の制約に同時に対処する研究はほとんどない。 このギャップを埋めるため,強力なクラウドベースのLCMをサポートしたデバイス上でパーソナライズされた言語モデルをユーザデバイスにデプロイするフレームワークであるCDCDA-PLMを提案する。 具体的には、CDCDA-PLMは、サーバ側のLLMの強力な一般化機能を活用して、ユーザの限られた個人情報を増大させ、データの不足を軽減します。 実データと合成データの両方を使用して、パーソナライズされたオンデバイス言語モデル(LM)は、パラメータ効率の良い微細チューニング(PEFT)モジュールを介して微調整され、ユーザのローカルデバイスにデプロイされる。 このアプローチはネットワークの安定性への依存をなくし、高い応答速度を保証する。 広く利用されているパーソナライズベンチマークにおいて、6つのタスクにまたがる実験結果からCDCDA-PLMの有効性が示された。

関連論文リスト

• CoSteer: Collaborative Decoding-Time Personalization via Local Delta Steering [68.91862701376155]
  CoSteerは、ローカライズされたデルタステアリングを通じてデコード時のパーソナライズを可能にする、新しいコラボレーティブフレームワークである。 トークンレベルの最適化をオンライン学習問題として定式化し、ローカルデルタベクトルがリモートLLMのロジットを動的に調整する。 このアプローチは、生のデータや中間ベクトルではなく、最後のステアリングトークンのみを送信することで、プライバシを保護します。
  論文  参考訳（メタデータ） (2025-07-07T08:32:29Z)
• LSRP: A Leader-Subordinate Retrieval Framework for Privacy-Preserving Cloud-Device Collaboration [43.115594451678255]
  クラウドとデバイス間のコラボレーションは、公開ユーザクエリの処理にオンプレミスのLarge Language Models(LLM)、プライベートユーザデータの処理にSLM(On-device Small Language Models)を活用する。 既存のアプローチは、クラウド上のLLMのスケーラブルな問題解決能力を十分に活用できないことが多い。 プライバシ保護型クラウドデバイスコラボレーション(LSRP)のためのリーダ・サブオーディネート検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-08T08:06:34Z)
• A New Paradigm of User-Centric Wireless Communication Driven by Large Language Models [53.16213723669751]
  次世代の無線通信は、人工知能とユーザー中心の通信ネットワークを深く統合しようとしている。 本稿では,構造化クエリ言語に対する自然言語を革新的に取り入れた,無線通信のための新しいパラダイムを提案する。 本稿では,物理層における動的意味表現ネットワークを符号化深度に適応させてユーザ要求を満たすプロトタイプシステムを提案する。
  論文  参考訳（メタデータ） (2025-04-16T01:43:36Z)
• PLM: Efficient Peripheral Language Models Hardware-Co-Designed for Ubiquitous Computing [48.30406812516552]
  我々は、モデルアーキテクチャとエッジシステムの制約を協調的に最適化する共同設計プロセスを通じて開発された、周辺言語モデルであるPLMを紹介する。 PLMはMulti-head Latent Attentionメカニズムを採用し、正方形ReLUアクティベーション機能を採用してスパーシティを促進し、ピークメモリフットプリントを減少させる。 評価の結果, PLMは, 公開されているデータに基づいて訓練された既存の小言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-15T15:11:17Z)
• Are We There Yet? A Measurement Study of Efficiency for LLM Applications on Mobile Devices [5.926813659185372]
  小型の大規模言語モデル(LLM)は、大きなモデルに比べて品質に制限があるにもかかわらず、強力なモバイルデバイス上で正常に動作することができる。 小型のLDMだけが強力なモバイルデバイス上で正常に動作するが、大型のモデルに比べて品質に制限がある。
  論文  参考訳（メタデータ） (2025-03-10T16:27:17Z)
• ELMS: Elasticized Large Language Models On Mobile Devices [5.689405542579458]
  デバイス上の大規模言語モデル(LLM)は、プライバシー問題に対処しながら、UI自動化などのアプリケーションを可能にする、モバイルAIに革命をもたらしている。 ELMSは、モデルとプロンプト次元の両方で弾力性を提供するように設計されたデバイス上でのLCMサービスである。 トランスモデルに固有の置換整合性を利用して高品質で柔軟なサブモデルを作成するワンタイムリオーダーニューロニング技術。 プロンプトを効率的に洗練し、モデルプロンプト間の弾性適応をコーディネートするデュアルヘッドコンパクト言語モデル。
  論文  参考訳（メタデータ） (2024-09-08T06:32:08Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• DUET: A Tuning-Free Device-Cloud Collaborative Parameters Generation Framework for Efficient Device Model Generalization [66.27399823422665]
  デバイスモデル一般化(Device Model Generalization, DMG)は、デバイス上での機械学習アプリケーションにおいて、実用的ながら実証されていない研究トピックである。 本稿では,Device-cloUdコラボレーティブパラメトリクスフレームワークDUETを提案する。
  論文  参考訳（メタデータ） (2022-09-12T13:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。