論文の概要: Context Inference Attacks Without Jailbreaks

• arxiv url: http://arxiv.org/abs/2609.01663v1
• Date: Mon, 31 Aug 2026 21:53:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:17.648117
• Title: Context Inference Attacks Without Jailbreaks
• Title（参考訳）: ジェイルブレイクのないコンテキスト推論攻撃
• Abstract要約: セキュリティゲームを通じて,Emphcontext-inference攻撃を導入,形式化する。 我々は、攻撃者の知識を減らし、既知のコンテキスト、未知のコンテキスト、エージェントが自身のツールコールを通じて取得するコンテキストの3つの設定を評価する。 1回の攻撃は3つの設定を全て変更せずに行う。
• 参考スコア（独自算出の注目度）: 8.976271168028534
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Agentic AI systems are increasingly deployed to process sensitive data at inference time, such as healthcare records or financial documents assembled into a hidden \emph{context} before the system answers. Prior work has studied privacy risks primarily through \emph{jailbreaking} attacks that induce models to directly disclose sensitive content, but has largely overlooked the agentic setting where the context is assembled by the agent's own tool calls. We show that the agents we evaluate remain vulnerable to hidden-context leakage despite the controls we test against them, namely an instruction not to disclose the context, logit suppression, and context dilution. For instance, a web-browsing agent answering benign user queries still carries exploitable signals about records silently loaded into its context. We introduce and formalize \emph{context-inference attacks} through a security game and evaluate three settings under decreasing attacker knowledge and increasingly indirect delivery of the context: a known context, an unknown context, and a context the agent retrieves through its own tool calls. We distinguish a grey-box setting, in which the target model is used to score observations, from black-box settings in which the attacker scores with a surrogate it controls. We further characterize how leakage varies with query budget, context size, and target-model size. A single attack carries through all three settings without modification, reaching $100\%$ ASR on small candidate sets and $63\%$ at $1024$ candidates against a known context, $78.9$ AUROC when the template and surrounding records are unknown, $92.5$ AUROC when a 14B surrogate scores a 32B target, and $81.8$ AUROC when the records arrive as an agent's retrieval returns, against chance rates of $1/|\mathcal{Z}|$ and $50$ respectively.
• Abstract（参考訳）: エージェントAIシステムは、システムが答える前に隠れた \emph{context} に組み立てられた医療記録や財務文書など、推論時に機密データを処理するためにますます多くデプロイされている。 プライバシのリスクは、主に 'emph{jailbreaking} 攻撃によって研究されてきたが、エージェント自身のツールコールによってコンテキストが組み立てられるエージェント設定をほとんど見落としている。 評価したエージェントは,テスト対象のコントロール,すなわちコンテキストを開示しない命令,ロジットの抑制,コンテキストの希釈にもかかわらず,隠れコンテキストの漏洩に対して脆弱であることを示す。 例えば、良質なユーザクエリに応答するWebブラウジングエージェントは、そのコンテキストに静かにロードされたレコードに関する悪用可能なシグナルをまだ持っています。 セキュリティゲームを通じて \emph{context-inference attack} を導入・形式化し、攻撃者の知識を減らし、コンテキストの間接的配信が増加する3つの設定(既知のコンテキスト、未知のコンテキスト、エージェントが自身のツールコールを通じて取得するコンテキスト)を評価する。 我々は、ターゲットモデルが観測値を得るために使用されるグレーボックス設定と、攻撃者が制御するサロゲートで得点するブラックボックス設定とを区別する。 さらに、クエリ予算、コンテキストサイズ、ターゲットモデルサイズによって、リークがどのように変化するかを特徴付ける。 単一の攻撃は3つの設定を変更せずに実行し、小さな候補セットで100\%のASR、既知のコンテキストに対して$1024のASR、テンプレートと周辺レコードが不明な時に$78.9のAUROC、14Bのサロゲートが32Bのターゲットを獲得したときに$92.5のAUROC、エージェントの検索が到着すると$81.8のAUROC、それぞれ1/|\mathcal{Z}|$と$50の確率でレコードが返ってくる。

関連論文リスト

• Agentic Cloud Decoys: A Deception-Driven Framework for Autonomous Intrusion Investigation [0.0]
  我々は,高忠実度クラウドデコイと自律言語モデルエージェントを組み合わせたフレームワークであるCloud Decoy AI Agentを紹介する。 調査単位はイベントではなくセッションであり、セッションキーは、ID階層化された認証情報の導入によって隠蔽される。 10のコントロールされたAWS S3シナリオで、9つの完全に再構築され、観測されたアーティファクトに追跡不可能なアサーションを含むレポートはなく、レイテンシは4分から5分でした。
  論文  参考訳（メタデータ） (2026-07-27T05:05:57Z)
• Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
  アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。 我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。 我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
  論文  参考訳（メタデータ） (2026-06-22T11:36:58Z)
• PrivacyPeek: Auditing What LLM-Based Agents Acquire, Not Just What They Say [48.84133320567554]
  LLMベースのエージェントは急速に進歩し、ユーザーのタスクを完了させるために外部ツールを自律的に呼び出している。 既存のプライバシベンチマークは、エージェントの応答や外部アクションが開示するものを監査するが、データがエージェントのコンテキストに最初に入力される取得ステージを見落としている。 LLMエージェントの取得段階のプライバシー漏洩を評価するベンチマークであるemphPrivacyPeekを紹介する。
  論文  参考訳（メタデータ） (2026-05-29T04:55:12Z)
• Plant, Persist, Trigger: Sleeper Attack on Large Language Model Agents [64.80318459073526]
  敵のコンテンツは、同一のエージェントによって提供される相互作用にまたがって持続できることを示し、そのような脅威を検知し緩和することを困難にしている。 具体的には、敵対的コンテンツはエージェント状態に留まり、相互作用をまたいだ休眠状態に留まり、その後、良心的なユーザクエリによって活性化される。 我々は、このタイプの安全脅威をスリーパー攻撃として形式化し、評価するために、現実世界の有害な結果6つ、攻撃戦略3つ、エージェント状態の目標3つをカバーする1,896件のベンチマークを構築した。
  論文  参考訳（メタデータ） (2026-05-27T09:25:37Z)
• ARGUS: Defending LLM Agents Against Context-Aware Prompt Injection [28.414099578635373]
  AgentLureは、コンテキスト依存タスクとコンテキスト認識インジェクション攻撃をキャプチャするベンチマークである。 この制限に対処するため,我々は,LDMエージェントの事前判定監査を実施する防衛機構であるARGUSを提案する。
  論文  参考訳（メタデータ） (2026-05-05T05:37:00Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• Zero-Query Transfer Attacks on Context-Aware Object Detectors [95.18656036716972]
  敵は、ディープニューラルネットワークが誤った分類結果を生成するような摂動画像を攻撃する。 自然の多目的シーンに対する敵対的攻撃を防御するための有望なアプローチは、文脈整合性チェックを課すことである。 本稿では,コンテキスト整合性チェックを回避可能な,コンテキスト整合性攻撃を生成するための最初のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-03-29T04:33:06Z)
• Towards Variable-Length Textual Adversarial Attacks [68.27995111870712]
  データの離散性のため、自然言語処理タスクに対してテキストによる敵意攻撃を行うことは非自明である。 本稿では,可変長テキスト対比攻撃(VL-Attack)を提案する。 本手法は、iwslt14ドイツ語英訳で3,18$ bleuスコアを達成でき、ベースラインモデルより1.47$改善できる。
  論文  参考訳（メタデータ） (2021-04-16T14:37:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。