論文の概要: Security Assessment of DeepSeek Harness with A.I.G: Evaluating Resistance to Indirect Prompt Injection
- arxiv url: http://arxiv.org/abs/2608.16393v2
- Date: Tue, 18 Aug 2026 07:33:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 13:45:33.020329
- Title: Security Assessment of DeepSeek Harness with A.I.G: Evaluating Resistance to Indirect Prompt Injection
- Title（参考訳）: A.I.Gによるディープシーク・ハーネスの安全性評価:間接プロンプト注入に対する抵抗性の評価
- Abstract要約: 我々は、DeepSeek Harness(DSH)の間接的インジェクションを評価し、テストの構築、制御されたテナントの提供、DSHの実行、トレースの収集、結果の判断を行う。
この研究は、14,560の間接コンテンツチャネル、テキストおよびファイルキャリアモード、35のペイロード目標、1つの修正されていないベースライン、12のアタックメソッドを制御している。
- 参考スコア（独自算出の注目度）: 5.713807329849712
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We assess indirect prompt injection in DeepSeek Harness (DSH), using AI-Infra-Guard (A.I.G) to construct tests, deliver controlled taint, execute DSH, collect traces, and judge outcomes. The study covers 14,560 controlled executions over 16 indirect-content channels, text and file carrier modes, 35 payload objectives, one unmodified baseline, and 12 attack methods. The experiment preserves DSH's agent loop, tool registry, model adapter, and session-event path; source tools and sensitive sinks are local fixtures, so attempted actions are recorded without external side effects. We evaluate each trace with a deterministic rule-based judge, \JudgeR{} (RuleJudge), and a semantic LLM-based judge, \JudgeL{} (LLMJudge). The strongest observed attack success rates are 17.0% under \JudgeL{} for fake-completion attack in text mode, 25.5% under \JudgeR{} for hidden Unicode in file mode, and 16.0% under \JudgeR{} for the skills channel in file mode. \JudgeL{} also assigns partial compliance more often than \JudgeR{} (7.3% versus 2.0%). We relate these results to DSH's treatment of tool results, additional contexts, and tool-call policy hooks, then identify controls that should sit between untrusted content and sensitive actions. Our code is available at https://github.com/Tencent/AI-Infra-Guard/tree/main/Research/deepseek-harness-security-assessment .
- Abstract（参考訳）: Indirect prompt Injection in DeepSeek Harness (DSH), using AI-Infra-Guard (A.I.G) to construct testing, deliver control taint, execute DSH, collect traces and judge outcomes。
この研究は、14,560の間接コンテンツチャネル、テキストおよびファイルキャリアモード、35のペイロード目標、1つの修正されていないベースライン、12のアタックメソッドを制御している。
この実験では、DSHのエージェントループ、ツールレジストリ、モデルアダプタ、セッションイベントパスが保存されている。
我々は,各トレースを,決定論的規則に基づく判断法である \JudgeR{} (RuleJudge) と意味論的LLMに基づく判断法である \JudgeL{} (LLMJudge) で評価する。
テキストモードでの偽補完攻撃では17.0%、ファイルモードで隠れUnicodeでは25.5%、ファイルモードでスキルチャネルでは16.0%である。
JudgeL{} はまた、部分コンプライアンスを \JudgeR{} (7.3% 対 2.0%) よりも頻繁に割り当てる。
これらの結果は、DSHによるツール結果の扱い、追加のコンテキスト、ツールコールポリシーフックに関連付けられ、信頼できないコンテンツとセンシティブなアクションの間に置かれるべきコントロールを特定します。
私たちのコードはhttps://github.com/Tencent/AI-Infra-Guard/tree/main/Research/deepseek-harness-security-assesmentで公開されています。
関連論文リスト
- SWE-Test: Benchmarking LLM Vulnerability Discovery via Input Prediction [13.719725391379276]
脆弱性発見は、大規模言語モデル(LLM)エージェントの重要な機能である。
我々は、その測定を、クローズドな決定論的基底真理を持つ入力予測タスクとして再放送する。
これにより、発見は15ドメインにまたがる22の現実世界のC/C++プログラムで3つのタスクモードに分解される。
論文 参考訳（メタデータ） (2026-09-05T19:04:41Z) - SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。
操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。
SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
論文 参考訳（メタデータ） (2026-08-31T03:39:43Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - Runtime Compliance Verification for AI Agents [0.19116784879310025]
現在のテストプラクティスは、オフラインのレッドチームや静的レビューに依存しているが、エージェントの動作がルールに従うことを保証していない。
本稿では,C-Trace (Compliance Trace Enforcement) を提案する。
論文 参考訳（メタデータ） (2026-06-17T16:22:34Z) - From Attack Simulation to SIEM Rule: Deterministic Detection-as-Code Synthesis with Probe-Level Traceability [51.56484100374058]
セキュリティチームは、自身のシステムに対する攻撃をシミュレートして、監視が真の侵入者を捕まえるかどうかをチェックする。
人間はそのギャップを手でブリッジし、それぞれの発見を読み、対応するシグマルールを書きます。
ロックされたコーパスからプローブが引き出されると,この変換が部分的に自動化されることを示す。
論文 参考訳（メタデータ） (2026-06-03T14:26:25Z) - Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。
BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。
LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
論文 参考訳（メタデータ） (2026-05-24T05:24:09Z) - AEGIS: No Tool Call Left Unchecked -- A Pre-Execution Firewall and Audit Layer for AI Agents [4.963079926145645]
AEGISはAIエージェントのための事前実行ファイアウォールと監査層である。
ツール実行パスに介在し、3段階のパイプラインを適用する。
ハイリスクコールは、人間の承認のために行われ、すべての決定は、未確認の監査証跡に記録される。
論文 参考訳（メタデータ） (2026-03-13T03:49:12Z) - Beyond Input Guardrails: Reconstructing Cross-Agent Semantic Flows for Execution-Aware Attack Detection [32.301679396929536]
静的な入力フィルタリングから実行対応分析へ、防御パラダイムをシフトするフレームワークであるSysNameを提案する。
SysNameは断片化された操作プリミティブを連続した行動軌跡に合成し、システムアクティビティの全体像を可能にする。
実証的な評価により、SysNameは10以上の異なる複合攻撃ベクトルを効果的に検出し、それぞれノードレベルとパスレベルのエンドツーエンド攻撃検出に対して85.3%と66.7%のF1スコアを達成した。
論文 参考訳（メタデータ） (2026-03-04T01:59:16Z) - When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift [0.0]
有害なリクエスト、ジェイルブレイク、間接的なプロンプトインジェクション、抽出攻撃にまたがる18のデータセットのベンチマークを用いて、包括的な分析を行う。
我々は,真のアウト・オブ・ディストリビューションの一般化を評価するために,LODO(Leave-One-Dataset-Out)評価を提案する。
論文 参考訳（メタデータ） (2026-02-15T14:21:43Z) - SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。
ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。
安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
論文 参考訳（メタデータ） (2026-01-19T23:37:10Z) - AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。
LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。
本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
論文 参考訳（メタデータ） (2025-12-23T08:42:09Z) - Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。
InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
論文 参考訳（メタデータ） (2025-05-08T13:04:45Z) - T2IShield: Defending Against Backdoors on Text-to-Image Diffusion Models [70.03122709795122]
バックドア攻撃の検出, 局所化, 緩和のための総合防御手法T2IShieldを提案する。
バックドアトリガーによって引き起こされた横断アテンションマップの「アシミレーション現象」を見いだす。
バックドアサンプル検出のために、T2IShieldは計算コストの低い88.9$%のF1スコアを達成している。
論文 参考訳（メタデータ） (2024-07-05T01:53:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。