論文の概要: Instant Personalized Large Language Model Adaptation via Hypernetwork

• arxiv url: http://arxiv.org/abs/2510.16282v1
• Date: Sat, 18 Oct 2025 00:41:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:11.740634
• Title: Instant Personalized Large Language Model Adaptation via Hypernetwork
• Title（参考訳）: ハイパーネットワークによるインスタントパーソナライズされた大規模言語モデル適応
• Authors: Zhaoxuan Tan, Zixuan Zhang, Haoyang Wen, Zheng Li, Rongzhi Zhang, Pei Chen, Fengran Mo, Zheyuan Liu, Qingkai Zeng, Qingyu Yin, Meng Jiang,
• Abstract要約: Profile-to-PEFTは、ハイパーネットワークでトレーニングされたエンドツーエンドを使用して、ユーザのエンコードされたプロファイルを直接、アダプタパラメータの完全なセットにマッピングするスケーラブルなフレームワークである。 提案手法は,展開時に計算資源を著しく減らしながら,プロンプトベースのパーソナライゼーションとOPPUの両方に優れることを示す。
• 参考スコア（独自算出の注目度）: 56.512539596908745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalized large language models (LLMs) tailor content to individual preferences using user profiles or histories. However, existing parameter-efficient fine-tuning (PEFT) methods, such as the ``One-PEFT-Per-User'' (OPPU) paradigm, require training a separate adapter for each user, making them computationally expensive and impractical for real-time updates. We introduce Profile-to-PEFT, a scalable framework that employs a hypernetwork, trained end-to-end, to map a user's encoded profile directly to a full set of adapter parameters (e.g., LoRA), eliminating per-user training at deployment. This design enables instant adaptation, generalization to unseen users, and privacy-preserving local deployment. Experimental results demonstrate that our method outperforms both prompt-based personalization and OPPU while using substantially fewer computational resources at deployment. The framework exhibits strong generalization to out-of-distribution users and maintains robustness across varying user activity levels and different embedding backbones. The proposed Profile-to-PEFT framework enables efficient, scalable, and adaptive LLM personalization suitable for large-scale applications.
• Abstract（参考訳）: パーソナライズされた大規模言語モデル(LLM)は、ユーザープロファイルや履歴を用いて個々の好みに合わせてコンテンツをカスタマイズする。 しかし、'One-PEFT-Per-User''(OPPU)パラダイムのような既存のパラメータ効率の細かいチューニング(PEFT)手法では、各ユーザに対して個別のアダプタをトレーニングする必要がある。 ハイパーネットワークでトレーニングされたエンドツーエンドを利用するスケーラブルなフレームワークであるProfile-to-PEFTを導入し、ユーザのエンコードされたプロファイルを完全なアダプタパラメータ(例えばLoRA)に直接マップし、デプロイ時のユーザ毎のトレーニングを不要にする。 この設計により、即時適応、未確認ユーザへの一般化、およびプライバシ保護によるローカルデプロイメントが可能になる。 実験結果から,本手法は,展開時の計算資源を著しく減らしながら,迅速なパーソナライゼーションとOPPUの両方に優れることが示された。 このフレームワークは、アウト・オブ・ディストリビューションのユーザに対して強力な一般化を示し、さまざまなユーザアクティビティレベルと異なる埋め込みバックボーンにわたって堅牢性を維持する。 提案するProfile-to-PEFTフレームワークは,大規模アプリケーションに適した,効率的でスケーラブルで適応的なLCMパーソナライズを実現する。

関連論文リスト

• PersonaAgent: When Large Language Model Agents Meet Personalization at Test Time [87.99027488664282]
  PersonaAgentは、汎用的なパーソナライゼーションタスクに対処するために設計されたフレームワークである。 パーソナライズされたメモリモジュールとパーソナライズされたアクションモジュールを統合する。 テストタイムのユーザ嗜好アライメント戦略は、リアルタイムのユーザの嗜好アライメントを保証する。
  論文  参考訳（メタデータ） (2025-06-06T17:29:49Z)
• Flextron: Many-in-One Flexible Large Language Model [85.93260172698398]
  我々は,フレキシブルモデル展開をサポートするネットワークアーキテクチャとポストトレーニングモデル最適化フレームワークであるFlextronを紹介する。 本稿では,既存の学習用LDMをFlextronモデルに変換するための,サンプル効率のよいトレーニング手法と関連するルーティングアルゴリズムを提案する。 我々は、複数のエンドツーエンドトレーニングされた変種や他の最先端の弾性ネットワークよりも優れた性能を示し、これらは全て、オリジナルの事前訓練と比較してわずか7.63%のトークンを消費する単一の事前訓練ランで実現している。
  論文  参考訳（メタデータ） (2024-06-11T01:16:10Z)
• Dual-Personalizing Adapter for Federated Foundation Models [35.863585349109385]
  本稿では,テスト時間分布シフトを同時に処理するフェデレートデュアルパーソナライズアダプタアーキテクチャを提案する。 提案手法の有効性を,異なるNLPタスクのベンチマークデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2024-03-28T08:19:33Z)
• Democratizing Large Language Models via Personalized Parameter-Efficient Fine-tuning [36.88126051792774]
  大規模言語モデル(LLM)のパーソナライゼーションはますます重要になっている。 1つのPEFT Per User (OPPU) は、パーソナライズされたパラメータ効率の微調整(PEFT)モジュールを使用して、ユーザ固有の行動パターンと好みを保存する。 OPPUは、LaMPベンチマークの7つのタスクで既存のプロンプトベースのメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-02-06T21:03:52Z)
• Profit: Benchmarking Personalization and Robustness Trade-off in Federated Prompt Tuning [40.16581292336117]
  フェデレートラーニング(FL)の多くの応用において、クライアントはローカルデータを用いてパーソナライズされたモデルを求めているが、一般的なグローバルな知識を保持するという意味でも堅牢である。 フェデレーションシステムの設計において、このパーソナライゼーションとロバストネスのトレードオフをどのようにナビゲートするかを理解することは重要である。
  論文  参考訳（メタデータ） (2023-10-06T23:46:33Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Unsupervised Model Personalization while Preserving Privacy and Scalability: An Open Problem [55.21502268698577]
  本研究では,非教師なしモデルパーソナライゼーションの課題について検討する。 この問題を探求するための新しいDual User-Adaptation Framework(DUA)を提供する。 このフレームワークは、サーバ上のモデルパーソナライズとユーザデバイス上のローカルデータ正規化に柔軟にユーザ適応を分散させる。
  論文  参考訳（メタデータ） (2020-03-30T09:35:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。