論文の概要: What Standard Evaluations Hide About Detectors of Hijacked LLM Agents: Rare Attacks, Unseen Tools and Benchmark Transfer
- arxiv url: http://arxiv.org/abs/2610.41803v1
- Date: Fri, 30 Oct 2026 14:30:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.77149
- Title: What Standard Evaluations Hide About Detectors of Hijacked LLM Agents: Rare Attacks, Unseen Tools and Benchmark Transfer
- Title（参考訳）: ハイジャックされたLDMエージェントの検知器に関する標準評価:希少な攻撃、見えないツール、ベンチマーク転送
- Abstract要約: インタクタは、呼び出すツールのトレースから、ハイジャックされた大きな言語モデル(LLM)エージェントにフラグを付けることができる。
AgentDriftとAgentDojoのベンチマークでは、ツールのアイデンティティ、振る舞い、呼び出しシーケンス、ステップ埋め込み、テキストを読むためのトレーニングされた検出をテストしています。
これらの知見を、トレース検出器を評価するためのチェックリストに変換する。
- 参考スコア（独自算出の注目度）: 1.3662128927080233
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Detectors can flag hijacked large language model (LLM) agents from the traces of the tools they call. In the eleven evaluations we audited, attacks or anomalies make up 16% to 86% of the test samples, no evaluation varies that share, and six report no test on data from a second benchmark or source. We ask what such evaluations hide. On the AgentDrift and AgentDojo benchmarks we test trained detectors that read tool identities, behavior, call sequences, step embeddings or text, and a released LLM action monitor, AlignmentCheck, with thresholds fixed on training data or set by the monitor's released decision rule. First, at a 2% attack rate a detector with an area under the receiver operating characteristic curve (AUROC) of 0.879 reaches a precision of 0.076, and the mix of negatives alone moves that precision between 0.039 and 0.117. Second, as tool coverage, the share of test tool calls whose tool was seen in training, falls, detector rankings cross near 50% coverage and reverse below it, because unseen tools map to inputs that training never reached. Dropout on tool inputs largely removes the reversal. Third, no detector trained on AgentDrift ranks AgentDojo traces better than chance (AUROC 0.47 to 0.52), including one that reaches 0.996 within AgentDojo. The monitor, trained on neither, reaches 0.930, but with its open backbone its released decision rule would still mostly raise false alerts at a 2% attack rate (precision 0.096). We turn these findings into a checklist for evaluating trace detectors.
- Abstract（参考訳）: インタクタは、呼び出すツールのトレースから、ハイジャックされた大きな言語モデル(LLM)エージェントにフラグを付けることができる。
監査した11の評価では、アタックや異常がテストサンプルの16%から86%を占めており、その評価には違いはなく、第2のベンチマークやソースからのデータに対するテストは6回報告されていない。
私たちはそのような評価が何を隠すか尋ねる。
AgentDriftとAgentDojoのベンチマークでは、ツールのID、動作、呼び出しシーケンス、ステップ埋め込み、テキストを読み取るためのトレーニングされたディテクターと、トレーニングデータに固定されたしきい値と、モニタのリリースした決定ルールによって設定されたしきい値を備えたリリースされたLLMアクションモニタであるAlignmentCheckをテストしています。
まず、受信機動作特性曲線(AUROC)が0.879未満の領域を持つ検出器が2%の攻撃速度で0.076の精度に到達し、負の混合だけで0.039から0.117の間をその精度で移動する。
第2に、ツールカバレッジとして、トレーニングでツールが見られたテストツールコールのシェアが低下し、ディテクターのランクが50%近くまで上昇し、その下に逆転する。
ツール入力のドロップアウトは、主に反転を取り除く。
第3に、エージェントドリフトで訓練された検知器はAUROC 0.47から0.52まで、エージェントドリフトで0.996に達するものを含め、AUROC 0.47から0.52までの速度で追跡する。
双方で訓練されたモニターは0.930に到達したが、その開放されたバックボーンにより、リリースされた決定規則は依然として2%の攻撃率(精度0.096)で誤警報を発生させる。
これらの知見を、トレース検出器を評価するためのチェックリストに変換する。
関連論文リスト
- From Probe Scores to Alarm Policies: Operational Validity of Activation Monitors for Language-Model Agents [0.0]
アクティベーションプローブは、受信動作特性曲線(AUROC)の下で高い領域を持つ言語モデルの安全性関連特性を予測することができる
配備されたエージェントモニターは、厳格な偽アラーム予算の下で閾値付きアラーム決定を行う。
我々は,モニタの目標,可観測性,アイデンティティ,タイミング,介入ユニット,コンパレータ,キャリブレーション,コストを修正する操作検証契約を導入する。
論文 参考訳（メタデータ） (2026-10-03T15:11:21Z) - Passing the Test You Trained On: Re-evaluating Prompt-Injection Detectors for LLM Agents [0.0]
LLMを使わずにAgentDojoとTau-benchという2つのエージェントベンチマークの真真正なツールコールを再生する。
我々は,MetaのPrompt Guard 2を含む15の検出器と,これらの出力とBIPIAベンチマークに基づいて2つのタスク対応LCM判定器を評価した。
両方のエージェントベンチマークで最高の検出器は、いかなるベンチマークともデータを共有せず、エージェントスタイルの入力でトレーニングされた。
論文 参考訳（メタデータ） (2026-10-02T15:30:11Z) - hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。
我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。
HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
論文 参考訳（メタデータ） (2026-10-02T09:35:59Z) - From Routing Signals to Selective Review: Visual regrounding in MoE VLMs [48.07726955428853]
視覚言語モデル(VLM)は偽の視覚的前提を受け入れ、対象の物体の色、数、位置、状態について疑問に答える。
本稿では,Mixture-of-Experts (MoE)VLMにおける内部ルーティング決定を活用するための最初のフレームワークを提案する。
提案手法は,MoE VLMによってすでに作成されており,低コストな検出と選択的な視覚的リグラウンドを支援することができる。
論文 参考訳（メタデータ） (2026-09-29T17:49:07Z) - The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent [0.0]
決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。
本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。
検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
論文 参考訳（メタデータ） (2026-09-14T17:13:05Z) - DriftNet: A Dual-Head Trajectory Transformer for Detecting and Localizing Prompt Injection in LLM Agents [0.0]
オペレーターは、攻撃がどこから入ったか、どのステップが破損したか、そして明らかな毒が抵抗されたかの3つの事実を必要とします。
DriftNetは2つのヘッドトラジェクトリ変換器で、ログ化されたツール呼び出しトラジェクトリを読み出し、1つのフォワードパスで3つの質問すべてに答える。
我々の知る限り、このジョイント出力を発生させた最初の検出器である。
論文 参考訳（メタデータ） (2026-09-09T22:52:23Z) - ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。
Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。
曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
論文 参考訳（メタデータ） (2026-08-25T23:21:57Z) - Confidently Wrong: Severity-Aware Calibration of Prompt-Injection Detectors under Attack Shift [0.0]
私は、ProtectAI-v2とPrompt-Guard-2チェックポイントの3つの放出検出器を1つのソース校正閾値で評価した。
重大度指標Sを報告し、検知器が犯した攻撃に対する自信と、偽陰性率と差別を報告します。
3つとも間接的行動ヒジャック注入を確実に通過し、2つのベンダーに共通する盲点と4倍の大きさの範囲を達成します。
論文 参考訳（メタデータ） (2026-06-21T20:30:12Z) - Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。
InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
論文 参考訳（メタデータ） (2025-05-08T13:04:45Z) - Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。
MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。
我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
論文 参考訳（メタデータ） (2023-10-18T11:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。