論文の概要: The Customer Never Sees the Goal: Measuring and Detecting Vulnerability-Targeted Manipulation in LLM Assistants

• arxiv url: http://arxiv.org/abs/2611.02689v1
• Date: Mon, 02 Nov 2026 07:39:20 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:15:31.698177
• Title: The Customer Never Sees the Goal: Measuring and Detecting Vulnerability-Targeted Manipulation in LLM Assistants
• Title（参考訳）: LLMアシスタントにおける脆弱性対象マニピュレーションの測定と検出
• Abstract要約: 本稿では,操作者による脆弱性対象操作(VTM)に焦点を当てる。 VTMは、顧客が開示する脆弱性を利用して、アシスタントがそのような目標を追求するときに発生する。 GAPはモデルが推奨するオプションを記録し、他のオプションをオペレータのゴールに設定する。
• 参考スコア（独自算出の注目度）: 12.722126706036605
• License:
• Abstract: Companies deploy large language model (LLM) assistants on their websites to advise customers. For commercial reasons, the operator can give an assistant a goal that the customer never sees. This paper focuses on operator-induced vulnerability-targeted manipulation (VTM), in which an assistant pursues such a goal by exploiting a vulnerability the customer discloses. While existing research mainly measures how manipulative a model is, we go further and ask whether VTM can be detected from the customer-AI conversation. To investigate this at scale, we introduce GAP (Goal-Anchored Probing). GAP first records the option a model recommends without any goal and then sets the other option as the operator's goal. We apply GAP to 15 open- and closed-source LLMs and collect 619,600 labeled replies across 540 everyday scenarios in 12 domains. We organize our study around three research questions. (1) Do assistants with an operator goal target vulnerable customers? (2) Can VTM be detected from the customer-AI conversation? (3) Does detection generalize to unseen models, vulnerabilities, and instruction styles? We first find that 14 of 15 models push the operator goal, and 12 of them use disclosed distress or financial strain to support it. Next, we show that fine-tuned detectors identify exploitative pushes with 79\% accuracy from the reply alone, while zero-shot LLM judges average at most 62\%. Finally, detection weakens on vulnerabilities absent from training. Telling whether a push comes from the operator also becomes unreliable when the assistant is told to hide its goal. We will release our dataset and code to facilitate future research on auditing LLM assistants.
• Abstract（参考訳）: 大規模言語モデル(LLM)アシスタントをWebサイトにデプロイし、顧客にアドバイスする。 商業的な理由から、オペレーターは顧客が決して見ない目標をアシスタントに与えることができる。 本稿では,利用者が開示する脆弱性を利用して,その目標を達成する操作者による脆弱性対象操作(VTM)に焦点を当てる。 既存の研究は、主にモデルがどのように操作されているかを測定するが、顧客とAIの会話からVTMを検出できるかどうかをさらに調べる。 これを大規模に検討するため,GAP(Goal-Anchored Probing)を導入する。 GAPはまず、モデルが推奨するオプションをゴールなしで記録し、次に他のオプションをオペレータのゴールに設定する。 GAPを15のオープンソースおよびクローズドソースのLLMに適用し、12ドメインの540の日常シナリオに619,600のラベル付き回答を収集します。 我々は3つの研究課題について研究をまとめる。 1)運用者の目標目標を掲げたアシスタントは、脆弱な顧客か? 2)VTMは顧客とAIの会話から検出できるのか? (3)検出は、見えないモデル、脆弱性、命令スタイルに一般化されるか? 最初に15モデルのうち14モデルがオペレーターの目標を押し上げ、そのうち12モデルがそれをサポートするために明らかにされた苦痛や金銭的負担を使っています。 次に、微調整された検出器は、応答のみから79\%の精度で攻撃的なプッシュを識別し、ゼロショットLCMの判定は62\%以上であることを示す。 最後に、検出はトレーニングの欠如する脆弱性を弱める。 オペレータからプッシュが来たかどうかも、アシスタントが目標を隠すように言われると、信頼性が低下する。 LLMアシスタントの監査を容易にするため,我々のデータセットとコードをリリースする。

関連論文リスト

• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• Decoding Hidden Deception in Reasoning LLMs: Activation Explainers for Deception Auditing [22.30404793367838]
  本稿では,騙し監査のためのアクティベーション説明器STATEWITNESSを紹介する。 個別のデコーダはターゲットモデルの隠れた状態を読み、自然言語クエリに答えるか、それらに関する構造化されたレポートを出力する。 本研究では,7つの偽装データセットを対象とする2つのLLMに対するSTATEWITNESSの評価を行った。
  論文  参考訳（メタデータ） (2026-06-16T03:41:29Z)
• PrivacyPeek: Auditing What LLM-Based Agents Acquire, Not Just What They Say [48.84133320567554]
  LLMベースのエージェントは急速に進歩し、ユーザーのタスクを完了させるために外部ツールを自律的に呼び出している。 既存のプライバシベンチマークは、エージェントの応答や外部アクションが開示するものを監査するが、データがエージェントのコンテキストに最初に入力される取得ステージを見落としている。 LLMエージェントの取得段階のプライバシー漏洩を評価するベンチマークであるemphPrivacyPeekを紹介する。
  論文  参考訳（メタデータ） (2026-05-29T04:55:12Z)
• AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
  大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。 LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。 本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-12-23T08:42:09Z)
• Poison to Detect: Detection of Targeted Overfitting in Federated Learning [1.593065406609169]
  フェデレートラーニング(FL)は、ローカルデータをプライベートに保ちながら、分散クライアント間で協調的なモデルトレーニングを可能にする。 プライバシーの利点があるにもかかわらず、FLは特定のクライアントをターゲットにしているものを含むプライバシー攻撃に弱いままだ。 本研究では,不正直なオーケストラが意図的にアグリゲーションプロセスを操作し,ターゲットのオーバーフィッティングを誘発する,過度に探索された脅威について検討する。 クライアントがグローバルアグリゲーションの完全性を検証するための3つの検出手法を提案する。
  論文  参考訳（メタデータ） (2025-09-15T14:23:39Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。