論文の概要: PRISP: Privacy-Safe Few-Shot Personalization via Lightweight Adaptation
- arxiv url: http://arxiv.org/abs/2601.06471v1
- Date: Sat, 10 Jan 2026 07:34:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-13 19:08:00.833026
- Title: PRISP: Privacy-Safe Few-Shot Personalization via Lightweight Adaptation
- Title(参考訳): PRISP:軽量適応によるプライバシセーフなFew-Shotパーソナライゼーション
- Authors: Junho Park, Dohoon Kim, Taesup Moon,
- Abstract要約: PRISPは軽量でプライバシーに配慮したパーソナライズフレームワークである。
Text-to-LoRAハイパーネットワークを利用してタスク記述からタスク対応のLoRAパラメータを生成する。
LaMPベンチマークのいくつかのバージョンに対する実験は、PRISPが全体的なパフォーマンスを強く達成していることを示している。
- 参考スコア(独自算出の注目度): 21.467360472787593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) personalization aims to adapt general-purpose models to individual users. Most existing methods, however, are developed under data-rich and resource-abundant settings, often incurring privacy risks. In contrast, realistic personalization typically occurs after deployment under (i) extremely limited user data, (ii) constrained computational resources, and (iii) strict privacy requirements. We propose PRISP, a lightweight and privacy-safe personalization framework tailored to these constraints. PRISP leverages a Text-to-LoRA hypernetwork to generate task-aware LoRA parameters from task descriptions, and enables efficient user personalization by optimizing a small subset of task-aware LoRA parameters together with minimal additional modules using few-shot user data. Experiments on a few-shot variant of the LaMP benchmark demonstrate that PRISP achieves strong overall performance compared to prior approaches, while reducing computational overhead and eliminating privacy risks.
- Abstract(参考訳): 大規模言語モデル(LLM)のパーソナライゼーションは,個々のユーザに対して汎用モデルを適用することを目的としている。
しかし、既存のほとんどの手法は、データ豊かでリソースの豊富な設定の下で開発され、しばしばプライバシー上のリスクを引き起こす。
対照的に、現実的なパーソナライズは通常、展開後に起こる
(i)極めて限られたユーザーデータ
(二)制約された計算資源、及び
(三)厳格なプライバシー要件
これらの制約に合わせた軽量でプライバシーに配慮したパーソナライズフレームワークであるPRISPを提案する。
PRISPは、Text-to-LoRAハイパーネットワークを利用してタスク記述からタスク認識のLoRAパラメータを生成し、タスク認識のLoRAパラメータの小さなサブセットを、少数ショットのユーザデータを使用して最小限の追加モジュールとともに最適化することにより、効率的なユーザパーソナライズを可能にする。
LaMPベンチマークの何発かの実験では、PRISPは計算オーバーヘッドを減らし、プライバシーリスクをなくしながら、従来のアプローチに比べてパフォーマンスが大幅に向上している。
関連論文リスト
- CBP-Tuning: Efficient Local Customization for Black-box Large Language Models [23.249724558362136]
CBP-Tuningは、双方向のプライバシーを維持しつつ、効率的なローカルカスタマイズを容易にする新しいフレームワークである。
具体的には,(1) サーバ側で訓練されたプロンプトジェネレータを用いて,ドメイン固有およびタスク非依存の機能をキャプチャし,(2) 個々のタスクに対してソフトプロンプトを調整できるユーザ側勾配非最適化を設計する。
このアプローチでは、モデルウェイトにアクセスしたり、プライベートデータをアップロードする必要がなくなる。
論文 参考訳(メタデータ) (2025-09-15T16:41:08Z) - Semantic-guided LoRA Parameters Generation [22.648880814012184]
Low-Rank Adaptation (LoRA)は、AIモデルを効率的に微調整するために、さまざまなタスクにまたがる強力な一般化機能を示している。
SG-LoRAは、ユーザタスクのトレーニングやユーザ固有のデータへのアクセスを必要とせずに、ユーザ固有のLoRAを効率的に生成する、同社初のフレームワークである。
SG-LoRAは、著名なLoRA専門家の知識を蒸留することで、個々の意図に沿ったLoRAモデルのリアルタイム構築を可能にする。
論文 参考訳(メタデータ) (2025-09-05T14:43:41Z) - Personalized Language Models via Privacy-Preserving Evolutionary Model Merging [53.97323896430374]
言語モデルにおけるパーソナライゼーションは、個々のユーザやユーザグループに対する振る舞いをモデル化することを目的としている。
進化的アルゴリズム(PriME)によるプライバシ保護モデルマージを提案する。
PriMEは、プライバシーリスクを低減しつつ、ユーティリティを直接最適化するために、勾配のない方法を採用している。
LaMPベンチマークの実験によると、Primeは一貫してベースラインを上回り、タスクパフォーマンスを最大45%改善している。
論文 参考訳(メタデータ) (2025-03-23T09:46:07Z) - A Middle Path for On-Premises LLM Deployment: Preserving Privacy Without Sacrificing Model Confidentiality [20.646221081945523]
プライバシに敏感なユーザは、自身のインフラストラクチャ(オンプレミス)に大規模な言語モデル(LLM)をデプロイして、プライベートデータの保護とカスタマイズを可能にする必要がある。
小型モデルの従来の研究は、モデルの機密性とカスタマイズのバランスをとるために、ハードウェアがセキュアなデバイス内の出力層のみを確保することを模索してきた。
SOLIDはセキュアな環境下でいくつかのボトム層を確保する新しいデプロイメントフレームワークであり、トレードオフを最適化するための効率的なメトリクスを導入します。
論文 参考訳(メタデータ) (2024-10-15T02:00:36Z) - Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。
ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。
また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
論文 参考訳(メタデータ) (2024-08-07T04:20:28Z) - Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
機密情報を含む匿名化は、幅広いアプリケーションにとって不可欠である。
既存の技術は、大規模言語モデルの再識別能力の新たな課題に直面している。
本稿では,プライバシ評価器,ユーティリティ評価器,最適化コンポーネントの3つの重要なコンポーネントで構成されるフレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-16T14:28:56Z) - The Data Minimization Principle in Machine Learning [61.17813282782266]
データ最小化は、収集、処理、保持されるデータの量を減らすことを目的としている。
様々な国際データ保護規制によって支持されている。
しかし、厳密な定式化が欠如しているため、その実践的な実装は依然として課題である。
論文 参考訳(メタデータ) (2024-05-29T19:40:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。