論文の概要: Inferring Hidden User Models from the Behavior of Personalized LLM Agents
- arxiv url: http://arxiv.org/abs/2609.03815v1
- Date: Thu, 03 Sep 2026 13:19:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.084793
- Title: Inferring Hidden User Models from the Behavior of Personalized LLM Agents
- Title（参考訳）: パーソナライズされたLLMエージェントの挙動から隠れたユーザモデルの推定
- Abstract要約: ユーザモデルは、攻撃者が生成したパーソナライズされた選択からプライベート情報を回復できるため、新たな攻撃面を公開することを主張する。
我々は、仮説誘導適応探索に基づくブラックボックス攻撃であるUMPeekを導入し、そのような隠れユーザモデルを推測する。
全体として、UMPeekはベンチマークと実世界の比較において、既存の攻撃を上回っている。
- 参考スコア（独自算出の注目度）: 17.544201595300024
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent personalized LLM agents increasingly transform information retained in memory into compressed or structured representations, which we call user models, to guide later decisions. When source wording is removed from the state reachable through the ordinary interface, these models are commonly treated as more privacy-preserving because direct memory-extraction attacks lose the text they target. Yet we argue that user models expose a new attack surface because an attacker can still recover the private information from the personalized choices they shape, even when source records and backend state remain inaccessible. We therefore introduce UMPeek, a black-box attack based on hypothesis-guided adaptive probing to infer such hidden user model. It forms hypotheses from choices left open by a request, switches among ordinary follow-up tasks, and retains only claims supported and not contradicted by visible behavior. We conduct an extensive benchmark evaluation across diverse personalization tasks and user-model backends against existing attacks. We further validate UMPeek in real-world systems using information confirmed to be retained, and we evaluate defenses against its adaptive probing. Overall, UMPeek outperforms existing attacks in both benchmark and real-world comparisons and continues to recover user information under response-level defenses, showing that keeping records and backend state inaccessible does not guarantee semantic privacy when retained information shapes visible behavior.
- Abstract（参考訳）: 近年、パーソナライズされたLCMエージェントは、記憶に保持されている情報を圧縮または構造化された表現に変換する傾向にある。
ソースのワードが通常のインターフェースを通じてアクセス可能な状態から削除されると、これらのモデルは一般的に、直接メモリ抽出攻撃がターゲットとするテキストを失うため、プライバシー保護として扱われる。
しかし、攻撃者は、ソースレコードやバックエンド状態がアクセス不能である場合でも、パーソナライズされた選択からプライベート情報を復元できるため、ユーザモデルが新たな攻撃面を公開することを議論する。
そこで我々は、仮説誘導適応探索に基づくブラックボックス攻撃であるUMPeekを導入し、そのような隠れユーザモデルを推論する。
要求によって開かれた選択から仮説を形成し、通常のフォローアップタスクに切り替え、サポートされたクレームのみを保持し、可視的な振る舞いによって矛盾しない。
我々は、さまざまなパーソナライズタスクとユーザモデルバックエンドに対して、既存の攻撃に対して広範なベンチマーク評価を行う。
実世界のシステムにおけるUMPeekをさらに検証し,その適応的探索に対する防御効果を評価する。
全体として、UMPeekは、ベンチマークと実世界の比較において既存の攻撃よりも優れており、応答レベルの防御の下でユーザー情報を回復し続けている。
関連論文リスト
- MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents [74.64265314956441]
そこで我々は,グラフ構造化外部メモリにテキスト画像のコーディネートを施したブラックボックス攻撃フレームワークを提案する。
MemVenomは、GPT-5ファミリーのWebエージェントで最大99.15%に達する、良質なパフォーマンスに最小限の影響を伴って、強力なエンドツーエンド攻撃を成功させる。
論文 参考訳（メタデータ） (2026-06-09T11:53:25Z) - Neural Gate: Mitigating Privacy Risks in LVLMs via Neuron-Level Gradient Gating [71.55435880263238]
ニューラルゲート(Neural Gate)は,ニューロンレベルのモデル編集によってプライバシリスクを軽減する新しい手法である。
本手法は,プライバシ関連質問に対する拒否率を高めることにより,モデルのプライバシ保護を改善する。
論文 参考訳（メタデータ） (2026-03-13T03:03:20Z) - Unlearned but Not Forgotten: Data Extraction after Exact Unlearning in LLM [31.093224824043087]
学習前モデルからの信号を利用して学習後モデルを導く新しいデータ抽出攻撃を導入する。
シミュレーションされた医療診断データセット上での攻撃の有効性を実証し、正確なアンラーニングに関連する現実世界のプライバシーリスクを明らかにする。
論文 参考訳（メタデータ） (2025-05-30T09:09:33Z) - Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。
被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。
我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文 参考訳（メタデータ） (2024-04-01T16:50:54Z) - Visual Privacy Auditing with Diffusion Models [47.0700328585184]
拡散モデル (DM) に基づく再構成攻撃を導入し, 現実画像への逆アクセスを前提としている。
その結果,(1) 実世界の過去のデータが再建の成功に大きく影響していること,(2) 現在の再建境界は, 過去のデータによるリスクをうまくモデル化せず, DMは, プライバシー漏洩を可視化するための監査ツールとして機能することがわかった。
論文 参考訳（メタデータ） (2024-03-12T12:18:55Z) - Defending Our Privacy With Backdoors [29.722113621868978]
本稿では,視覚言語モデルから個人情報を除去するためのバックドア攻撃に基づく,容易かつ効果的な防御手法を提案する。
具体的には, テキストエンコーダにバックドアを戦略的に挿入することにより, センシティブなフレーズの埋め込みを, 人名ではなく「人」の言葉と整合させる。
このアプローチは、バックドア攻撃に対する新たな"デュアルユース"な視点を提供し、未計算のWebスクラッドデータでトレーニングされたモデル内の個人のプライバシを高めるための、有望な道を示す。
論文 参考訳（メタデータ） (2023-10-12T13:33:04Z) - Pelta: Shielding Transformers to Mitigate Evasion Attacks in Federated
Learning [0.6445605125467573]
我々は、信頼されたハードウェアを活用する新しいシールド機構であるPeltaを紹介する。
我々は,ペルタをアートアンサンブルモデルを用いて評価し,自己注意勾配攻撃に対する効果を実証した。
論文 参考訳（メタデータ） (2023-08-08T16:22:44Z) - RecUP-FL: Reconciling Utility and Privacy in Federated Learning via
User-configurable Privacy Defense [9.806681555309519]
フェデレートラーニング(FL)は、クライアントがプライベートデータを共有せずに、協力的にモデルをトレーニングすることを可能にする。
近年の研究では、共有勾配によってプライベート情報が漏洩する可能性があることが示されている。
本稿では、ユーザ指定の機密属性により焦点を絞ることができる、ユーザ設定可能なプライバシ保護(RecUP-FL)を提案する。
論文 参考訳（メタデータ） (2023-04-11T10:59:45Z) - Hiding Visual Information via Obfuscating Adversarial Perturbations [47.315523613407244]
本稿では,データの視覚的プライバシを保護するために,敵対的な視覚情報隠蔽手法を提案する。
具体的には、データの視覚情報を隠蔽する難読化対向摂動を生成する。
認識・分類タスクの実験結果から,提案手法が視覚情報を効果的に隠蔽できることが示唆された。
論文 参考訳（メタデータ） (2022-09-30T08:23:26Z) - Robbing the Fed: Directly Obtaining Private Data in Federated Learning
with Modified Models [56.0250919557652]
フェデレーション学習は、ユーザーのプライバシーと効率を高めるという約束で急速に人気を集めている。
ユーザプライバシに対する以前の攻撃はスコープが限られており、少数のデータポイントに集約されたグラデーション更新にはスケールしない。
共有モデルアーキテクチャの最小限ではあるが悪意のある変更に基づく新しい脅威モデルを導入する。
論文 参考訳（メタデータ） (2021-10-25T15:52:06Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳（メタデータ） (2020-09-01T12:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。