論文の概要: Never Start from Scratch: Expediting On-Device LLM Personalization via Explainable Model Selection

• arxiv url: http://arxiv.org/abs/2504.13938v1
• Date: Tue, 15 Apr 2025 17:38:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 08:34:57.842436
• Title: Never Start from Scratch: Expediting On-Device LLM Personalization via Explainable Model Selection
• Title（参考訳）: スクラッチから始めない:説明可能なモデル選択によるオンデバイスLCMパーソナライゼーションの迅速化
• Authors: Haoming Wang, Boyuan Yang, Xiangyu Yin, Wei Gao,
• Abstract要約: 大規模言語モデル(LLM)のパーソナライズは,異なるモバイルユーザのニーズを満たすために,実践的なアプリケーションにおいて重要である。 提案するXPerTは,このようなパーソナライズされたLLMの適切な選択を,どのように微調整されているかの説明可能性に基づいて保証する手法である。 実験の結果,XPerTはデバイス上でのLCMパーソナライズコストを83%削減し,データ効率を51%向上した。
• 参考スコア（独自算出の注目度）: 5.174560360759384
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Personalization of Large Language Models (LLMs) is important in practical applications to accommodate the individual needs of different mobile users. Due to data privacy concerns, LLM personalization often needs to be locally done at the user's mobile device, but such on-device personalization is constrained by both the limitation of on-device compute power and insufficiency of user's personal data. In this paper, we address these constraints by fine-tuning an already personalized LLM with user's personal data, and present XPerT, a new technique that ensure proper selection of such already personalized LLMs based on explainability about how they were being fine-tuned. We implemented and evaluated XPerT on various smartphone models with mainstream LLMs, and experiment results show that XPerT reduces the computation costs of on-device LLM personalization by 83%, and improves its data efficiency by 51%.
• Abstract（参考訳）: 大規模言語モデル(LLM)のパーソナライズは,異なるモバイルユーザのニーズを満たすために,実践的なアプリケーションにおいて重要である。 データプライバシの懸念から、LLMパーソナライズはしばしばユーザのモバイルデバイスでローカルに行う必要があるが、デバイス上の計算能力の制限とユーザの個人情報の不十分さの両方によって、デバイス上のパーソナライズが制限される。 本稿では,すでにパーソナライズされているLLMをユーザの個人データで微調整することで,これらの制約に対処する。 メインストリームLLMを用いた各種スマートフォンモデル上でXPerTを実装し評価した結果,XPerTはデバイス上でのLCMパーソナライゼーションの計算コストを83%削減し,データ効率を51%向上した。

関連論文リスト

• Personalized Language Models via Privacy-Preserving Evolutionary Model Merging [57.161917758405465]
  大規模言語モデル(LLM)におけるパーソナライゼーションは、個々のユーザまたはユーザグループの好みに合わせてモデルをカスタマイズすることを目指している。 進化的アルゴリズム(PriME)によるプライバシ保護モデルマージを提案する。 PriMEは、ユーザのプライバシを保護しながら、タスク固有のメトリクスを直接最適化するために、勾配のないメソッドを使用している。
  論文  参考訳（メタデータ） (2025-03-23T09:46:07Z)
• Prada: Black-Box LLM Adaptation with Private Data on Resource-Constrained Devices [16.500721672193762]
  大きな言語モデル(LLM)は、リソース制約のあるエッジデバイスに格納されたプライベートデータセットを使用して、特別なドメインに適応することができる。 プライバシ保護と効率的なブラックボックスLLM適応システムであるPradaを提案する。 Pradaは、集中的な微調整手法に匹敵するパフォーマンスを実現し、計算オーバーヘッドを最大60%削減し、通信コストを最大80%削減する。
  論文  参考訳（メタデータ） (2025-03-19T06:38:51Z)
• Measuring What Makes You Unique: Difference-Aware User Modeling for Enhancing LLM Personalization [68.79814761867314]
  本稿では,Large Language Models (LLM) のパーソナライゼーションを強化するために,差分認識パーソナライズ学習(DPL)を提案する。 DPLは、戦略的に代表ユーザを比較のために選択し、タスク関連の違いを抽出するための構造化標準を確立する。 実世界のデータセットの実験により、DPLはLLMのパーソナライゼーションを大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2025-03-04T09:53:26Z)
• Personalize Your LLM: Fake it then Align it [12.436528089142698]
  CHAMELEONは、自己生成した個人嗜好データと表現編集を利用する、スケーラブルで効率的なパーソナライズ手法である。 実験の結果,CHAMELEONは個人選好に効率よく適応し,指導訓練モデルを改善し,平均40%のパーソナライズベースラインを上回り,2つのパーソナライズベースラインを達成できた。
  論文  参考訳（メタデータ） (2025-03-02T22:40:10Z)
• FSPO: Few-Shot Preference Optimization of Synthetic Preference Data in LLMs Elicits Effective Personalization to Real Users [111.56469697145519]
  メタ学習問題として報酬モデルを再設計するFew-Shot Preference Optimizationを提案する。 このフレームワークでは、LDMはそのユーザからいくつかのラベル付けされた好みを通じてユーザへの迅速な適応を学び、パーソナライズされた報酬関数を構築する。 公開されているLLMを用いて100万以上の合成パーソナライズされた好みを生成する。 本研究は,映画レビュー,教育背景に基づく教育適応,一般質問応答の3分野を対象に,最大1,500人の総合ユーザを対象に,パーソナライズされたオープンエンド世代に対するFSPOの評価を行った。
  論文  参考訳（メタデータ） (2025-02-26T17:08:46Z)
• Personalization of Large Language Models: A Survey [131.00650432814268]
  大規模言語モデル(LLM)のパーソナライゼーションは、最近、広範囲のアプリケーションでますます重要になっている。 パーソナライズ LLM に関する既存の研究の多くは、(a)パーソナライズされたテキスト生成、または(b)レコメンデーションシステムのようなパーソナライズに関連する下流アプリケーションに LLM を活用することに集中している。 パーソナライズされたLSM使用のための分類を導入し、主要な違いと課題を要約する。
  論文  参考訳（メタデータ） (2024-10-29T04:01:11Z)
• LLMs + Persona-Plug = Personalized LLMs [41.60364110693824]
  パーソナライゼーションは多くの言語タスクやアプリケーションにおいて重要な役割を担っている。 これにより、大きな言語モデル(LLM)を適用して、ユーザの好みに合わせてカスタマイズされたアウトプットを生成する、さまざまなパーソナライズされたアプローチが開発された。 そこで我々は,LLMモデルを提案する。軽量なプラグインユーザ埋め込みモジュールを用いて,過去の状況をすべてモデル化し,個人毎のユーザ固有の埋め込みを構築する。
  論文  参考訳（メタデータ） (2024-09-18T11:54:45Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• PocketLLM: Enabling On-Device Fine-Tuning for Personalized LLMs [5.063806958859058]
  モバイルデバイスでは、毎日生成される貴重な非パブリックなデータが、ローカルに微調整されたパーソナライズされたLDMにとって大きな約束である。 本稿では,メモリ制限されたモバイルデバイス上でもLCMのデバイス上での微調整を可能にするために,デリバティブフリー最適化手法を提案する。 実証実験の結果、RoBERTa-largeモデルとOPT-1.3Bは、約4GBと6.5GBのメモリを使用してOPPO Reno 6スマートフォン上でローカルに微調整できることが示された。
  論文  参考訳（メタデータ） (2024-07-01T07:26:56Z)
• ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning [95.64041188351393]
  本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。 個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。 計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
  論文  参考訳（メタデータ） (2023-10-08T12:26:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。