論文の概要: Improving User Privacy in Personalized Generation: Client-Side Retrieval-Augmented Modification of Server-Side Generated Speculations

• arxiv url: http://arxiv.org/abs/2601.17569v1
• Date: Sat, 24 Jan 2026 19:46:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:07.993837
• Title: Improving User Privacy in Personalized Generation: Client-Side Retrieval-Augmented Modification of Server-Side Generated Speculations
• Title（参考訳）: パーソナライズドジェネレーションにおけるユーザプライバシの改善:サーバサイド生成推測のクライアント側検索強化
• Authors: Alireza Salemi, Hamed Zamani,
• Abstract要約: パーソナライゼーションは、大規模言語モデル(LLM)出力を個々のユーザの好みやバックグラウンド知識と整合させることに不可欠である。 サーバサイドのLLMにプライベートプロファイルを公開せずに高品質なパーソナライズを実現する対話型フレームワークであるP3$を紹介した。 3つのパーソナライズされた質問応答データセットで構成される最近のベンチマークであるLaMP-QAの実験によると、$P3$は、非パーソナライズされたサーバサイドとパーソナライズされたクライアントサイドのベースラインの両方を一貫して上回っている。
• 参考スコア（独自算出の注目度）: 37.909483957959715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalization is crucial for aligning Large Language Model (LLM) outputs with individual user preferences and background knowledge. State-of-the-art solutions are based on retrieval augmentation, where relevant context from a user profile is retrieved for LLM consumption. These methods deal with a trade-off between exposing retrieved private data to cloud providers and relying on less capable local models. We introduce $P^3$, an interactive framework for high-quality personalization without revealing private profiles to server-side LLMs. In $P^3$, a large server-side model generates a sequence of $k$ draft tokens based solely on the user query, while a small client-side model, with retrieval access to the user's private profile, evaluates and modifies these drafts to better reflect user preferences. This process repeats until an end token is generated. Experiments on LaMP-QA, a recent benchmark consisting of three personalized question answering datasets, show that $P^3$ consistently outperforms both non-personalized server-side and personalized client-side baselines, achieving statistically significant improvements of $7.4%$ to $9%$ on average. Importantly, $P^3$ recovers $90.3%$ to $95.7%$ of the utility of a ``leaky'' upper-bound scenario in which the full profile is exposed to the large server-side model. Privacy analyses, including linkability and attribute inference attacks, indicate that $P^3$ preserves the privacy of a non-personalized server-side model, introducing only marginal additional leakage ($1.5%$--$3.5%$) compared to submitting a query without any personal context. Additionally, the framework is efficient for edge deployment, with the client-side model generating only $9.2%$ of the total tokens. These results demonstrate that $P^3$ provides a practical, effective solution for personalized generation with improved privacy.
• Abstract（参考訳）: パーソナライゼーションは、大規模言語モデル(LLM)出力を個々のユーザの好みやバックグラウンド知識と整合させることに不可欠である。 最先端のソリューションは、ユーザプロファイルから関連するコンテキストをLLM消費のために検索する検索強化に基づいている。 これらの方法は、取得したプライベートデータをクラウドプロバイダに公開することと、能力の低いローカルモデルに依存することの間のトレードオフを扱う。 サーバサイドのLLMにプライベートプロファイルを公開せずに高品質なパーソナライズを実現する対話型フレームワークであるP^3$を紹介した。 P^3$では、大きなサーバサイドモデルがユーザクエリのみに基づいて$k$のドラフトトークンのシーケンスを生成します。 このプロセスは、エンドトークンが生成されるまで繰り返す。 3つのパーソナライズされた質問応答データセットで構成される最近のベンチマークであるLaMP-QAの実験によると、$P^3$は、個人化されていないサーバサイドとパーソナライズされたクライアントサイドのベースラインの両方を一貫して上回り、平均で7.4%$から9%$という統計的に重要な改善を実現している。 重要なことに、$P^3$は 90.3%$ から 95.7%$ に回復する。 リンク可能性や属性推論攻撃を含むプライバシー分析は、$P^3$が個人化されていないサーバーサイドモデルのプライバシを保持しており、個人的なコンテキストを持たないクエリを提出するのに比べて、余分な追加リーク(1.5%$--3.5%$)しか導入していないことを示している。 さらに、フレームワークはエッジデプロイメントに効率的であり、クライアントサイドモデルはトークン全体の9.2%しか生成しない。 これらの結果は、プライバシを改善したパーソナライズ生成に対して、P^3$が実用的で効果的なソリューションであることを示している。

関連論文リスト

• PrivTune: Efficient and Privacy-Preserving Fine-Tuning of Large Language Models via Device-Cloud Collaboration [17.909232830653618]
  スプリットラーニング(SL)による効率的かつプライバシ保護のための微調整フレームワークであるPrivTuneを提案する。 PrivTuneのキーとなるアイデアは、SLボトムモデルからクラフトノイズをトークン表現に注入することであり、各トークンは$n$hopの間接的な隣人に似ている。 実験によると、Stanford Sentiment TreebankデータセットでRoBERTaを使用することで、PrivTuneは攻撃成功率を10%に削減し、ユーティリティパフォーマンスはわずか3.33%低下した。
  論文  参考訳（メタデータ） (2025-12-09T17:03:59Z)
• Controlling What You Share: Assessing Language Model Adherence to Privacy Preferences [73.5779077857545]
  ローカルモデルがこれらの命令を使ってクエリを書き換えるフレームワークを構築します。 軽量なローカルLCMを用いた実験では、微調整後、はるかに大きなゼロショットモデルの性能を著しく上回った。 同時に、このシステムは、ユーザー定義プライバシの好みをよりよく理解したモデルの必要性を強調し、ユーザー指示に完全に準拠するという課題に直面している。
  論文  参考訳（メタデータ） (2025-07-07T18:22:55Z)
• HyPerAlign: Interpretable Personalized LLM Alignment via Hypothesis Generation [24.67727411391369]
  HyPerAlignは、大規模言語モデルに対する解釈可能かつサンプル効率の仮説駆動パーソナライズアプローチである。 我々は2つの異なるパーソナライズタスク、すなわち著者帰属と熟考的アライメントについて実験を行った。 その結果、仮説駆動型パーソナライゼーションの方が好みに基づく微調整法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-04-29T18:01:46Z)
• Personalized Language Models via Privacy-Preserving Evolutionary Model Merging [53.97323896430374]
  言語モデルにおけるパーソナライゼーションは、個々のユーザやユーザグループに対する振る舞いをモデル化することを目的としている。 進化的アルゴリズム(PriME)によるプライバシ保護モデルマージを提案する。 PriMEは、プライバシーリスクを低減しつつ、ユーティリティを直接最適化するために、勾配のない方法を採用している。 LaMPベンチマークの実験によると、Primeは一貫してベースラインを上回り、タスクパフォーマンスを最大45%改善している。
  論文  参考訳（メタデータ） (2025-03-23T09:46:07Z)
• Locally Private Sampling with Public Data [2.6334346517416876]
  ローカルディファレンシャルプライバシ(LDP)は、ユーザのデータを保護するために、プライバシ保護機械学習にますます採用されている。 本稿では,各ユーザのプライベートデータセットとパブリックデータセットの両方を活用する,ローカルなプライベートサンプリングフレームワークを提案する。 この目的を,ユーティリティ尺度として$f$-divergenceを用いて最小限の最適化問題とする。
  論文  参考訳（メタデータ） (2024-11-13T17:17:16Z)
• Selective Pre-training for Private Fine-tuning [33.55628974557588]
  パブリックデータセットでの注意深い事前トレーニングは、小さな言語モデルを異なるプライバシでトレーニングするために不可欠であることを示す。 その結果、より小さなモデルでは、注意深い事前トレーニングとプライベートな微調整によって、プライベートデータにアクセスできないはるかに大きなモデルの性能にマッチすることを示した。
  論文  参考訳（メタデータ） (2023-05-23T09:36:58Z)
• Smooth Anonymity for Sparse Graphs [69.1048938123063]
  しかし、スパースデータセットを共有するという点では、差分プライバシーがプライバシのゴールドスタンダードとして浮上している。 本研究では、スムーズな$k$匿名性(スムーズな$k$匿名性)と、スムーズな$k$匿名性(スムーズな$k$匿名性)を提供する単純な大規模アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-07-13T17:09:25Z)
• FeO2: Federated Learning with Opt-Out Differential Privacy [34.08435990347253]
  フェデレートラーニング(FL)は、クライアントデータをローカルに保ちながら、グローバルモデルを中央サーバでトレーニングする、新たなプライバシ保護パラダイムである。 差分プライバシー(DP)はFL内でのプライバシー保証を提供するために用いられる。 本稿では,emphFeO2と呼ばれるオプトアウトDPを用いたフェデレーション学習のための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-28T16:08:18Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。