論文の概要: ProtoArena: Can AI Agents Discover and Exploit Real-World Cross-Component Protocol Vulnerabilities?
- arxiv url: http://arxiv.org/abs/2610.17837v1
- Date: Tue, 13 Oct 2026 06:56:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.539867
- Title: ProtoArena: Can AI Agents Discover and Exploit Real-World Cross-Component Protocol Vulnerabilities?
- Title(参考訳): ProtoArena: AIエージェントは、現実世界のクロスコンポーネントプロトコル脆弱性を発見して、爆発させることができるか?
- Abstract要約: ProtoArenaは、脆弱性分析のためのブラックボックス、マルチコンポーネント、動的ベンチマークである。
エージェントは、セキュリティ効果の目標を達成するために、スコープ化されたインターフェイスを介して実行中のシステムと対話する。
クロードオプス4.8は観測された成功率が最も高い。
- 参考スコア(独自算出の注目度): 22.21731847347429
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents are increasingly used for vulnerability analysis, yet existing benchmarks provide limited coverage of exploitation that depends on interactions among network protocol components. Such vulnerabilities arise from inconsistencies in message interpretation, timing, state, or trust assumptions across participants. We introduce ProtoArena, a black-box, multi-component, dynamic benchmark with 80 cross-component vulnerability-exploitation environments spanning 11 protocol and application domains and 7 attack categories. Tasks are primarily informed by published protocol-attack mechanisms. Agents interact with running systems through scoped interfaces to achieve security-effect objectives without target source code. Three information levels assess guided reproduction, exploitation with mechanism and topology context, and effect-directed black-box exploration. A hybrid verifier combines rule-based checks with LLM review of independently collected traffic and logs. We evaluate five LLMs. Claude Opus 4.8 achieves the highest observed success rates: 48.8% under L1 guidance and 12.5% under effect-directed black-box L3. In a separate DNSBomb optimization experiment, it achieves a peak downstream-response to average query-input byte-rate ratio exceeding 171,000 times. The results show that agents can achieve verifiable exploitation effects in some cross-component environments, but success with limited black-box information remains low and varies across domains and attack categories. All experiments use controlled, explicitly authorized targets; they do not test production systems or disclose previously unknown vulnerabilities.
- Abstract(参考訳): 大規模言語モデル(LLM)エージェントは、脆弱性分析にますます利用されるが、既存のベンチマークでは、ネットワークプロトコルコンポーネント間の相互作用に依存するエクスプロイトのカバレッジが制限されている。
このような脆弱性は、メッセージの解釈、タイミング、状態、あるいは参加者間の信頼の前提の不整合から生じる。
我々は、11のプロトコルとアプリケーションドメインと7つの攻撃カテゴリにまたがる80のクロスコンポーネント脆弱性探索環境を備えた、ブラックボックス、マルチコンポーネント、動的ベンチマークであるProtoArenaを紹介した。
タスクは、主に公開されたプロトコルアタックメカニズムによって通知される。
エージェントは、対象とするソースコードを使わずにセキュリティ効果の目標を達成するために、スコープ化されたインターフェイスを介して実行中のシステムと対話する。
3つの情報レベルは、誘導された複製、メカニズムとトポロジーの文脈による利用、および効果指向のブラックボックス探索を評価する。
ハイブリッド検証器は、ルールベースのチェックと独立して収集されたトラフィックとログのLLMレビューを組み合わせる。
我々は5つのLSMを評価した。
クロードオプス4.8は、48.8%がL1誘導、12.5%がエフェクト指向のブラックボックスL3である。
別個のDNSBomb最適化実験では、ピークダウンストリーム応答から平均クエリインプットバイトレート比が171,000倍に達する。
その結果、エージェントは、いくつかのクロスコンポーネント環境で検証可能なエクスプロイト効果を達成することができるが、ブラックボックス情報に制限のある成功は依然として低く、ドメインやアタックのカテゴリによって異なることがわかった。
すべての実験では、制御された、明示的に認可されたターゲットを使用しており、プロダクションシステムをテストするか、以前に未知の脆弱性を開示しない。
関連論文リスト
- SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。
操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。
SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
論文 参考訳(メタデータ) (2026-08-31T03:39:43Z) - Decoupling Reconnaissance and Exploitation: Measuring the Capability Boundaries of LLM-Based Web Penetration Testing [8.293465530619246]
本稿では,2段階の非結合評価フレームワークを提案する。
我々は、マルチエージェント、モノリシック、グラフ駆動アーキテクチャをカバーする、オープンソースの5つの浸透試験エージェントを実証的に評価する。
論文 参考訳(メタデータ) (2026-06-24T02:51:58Z) - Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents [93.19140872946842]
大規模言語モデル(LLM)によって駆動されるWebエージェントは、現実の環境にますますデプロイされる。
これにより、一見良質なコンテンツがエージェントの振る舞いを操作する敵の命令を埋め込む、プロンプト・インジェクション・アタックに対して脆弱になる。
実世界のWebエージェントシステムにおいて,損害を体系的に分類し,属性付けするベンチマークである textbfsysname を導入する。
論文 参考訳(メタデータ) (2026-06-11T14:12:43Z) - Agora: Toward Autonomous Bug Detection in Production-Level Consensus Protocols with LLM Agents [11.555840794263753]
Agoraはドメイン対応のマルチエージェントフレームワークで、仮説駆動テストとLLM機能を統合し、体系的なプロトコル検証を行う。
この結果から,複雑なプロトコルの深い論理的バグを検出するためには,ドメイン認識型マルチエージェントコラボレーションが不可欠であることが示唆された。
論文 参考訳(メタデータ) (2026-05-28T13:27:47Z) - MOSAIC-Bench: Measuring Compositional Vulnerability Induction in Coding Agents [2.1942030377331245]
コーディングエージェントは、しばしばプロンプト毎の安全性レビューをパスするが、それらのタスクが通常のエンジニアリングチケットに分解されると、悪用可能なコードを出荷する。
199個の3段階攻撃チェーンのベンチマークであるMOSAIC-Benchを紹介する。
9つのプロダクションコーディングエージェントが53~86%の終末ASRで無害なチケットを構成しており、全ステージで2回しか拒否しないことを示す。
論文 参考訳(メタデータ) (2026-05-05T16:38:23Z) - MCPHunt: An Evaluation Framework for Cross-Boundary Data Propagation in Multi-Server MCP Agents [10.895733091955547]
マルチサーバ MCP 信頼境界を越えた冗長なクレデンシャル伝搬を分離する最初のベンチマークを提案する。
メインベンチマークは5つのモデルから3,615点を超え、すべてのモデルで政策違反の伝播速度は11.5-41.3%に達した。
3モデル間での即時緩和調査は、80.5%の実用性を維持しながら、ポリシー違反の伝播を最大97%削減する。
論文 参考訳(メタデータ) (2026-04-30T13:01:03Z) - ShieldNet: Network-Level Guardrails against Emerging Supply-Chain Injections in Agentic Systems [56.613157564882925]
悪意のある行動は、一見良心的なツールに埋め込まれ、エージェントの実行を静かにハイジャックしたり、機密データをリークしたり、無許可のアクションをトリガーしたりする。
影響は拡大しているが、このような脅威を評価するための包括的なベンチマークは今のところ存在しない。
実ネットワークの相互作用を観測してサプライチェーン中毒を検出するネットワークレベルのガードレールフレームワークであるShieldNetを提案する。
論文 参考訳(メタデータ) (2026-04-06T05:15:00Z) - T-MAP: Red-Teaming LLM Agents with Trajectory-aware Evolutionary Search [49.99459363244884]
提案手法は, 対向的プロンプトの発見を導くために, 実行トラジェクトリを利用するトラジェクトリ対応の進化探索手法であるT-MAPを提案する。
本手法は,安全ガードレールをバイパスするだけでなく,実際のツールインタラクションによる有害な目標を確実に実現するための攻撃の自動生成を可能にする。
論文 参考訳(メタデータ) (2026-03-21T12:33:34Z) - AWE: Adaptive Agents for Dynamic Web Penetration Testing [0.0]
AWEは、自動Web侵入テストのためのメモリ拡張マルチエージェントフレームワークである。
軽量なLLMオーケストレーション層に、構造化された脆弱性固有の分析パイプラインを組み込む。
AWEはインジェクションクラスの脆弱性を大幅に向上させる。
論文 参考訳(メタデータ) (2026-03-01T07:32:42Z) - Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。
InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
論文 参考訳(メタデータ) (2025-05-08T13:04:45Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳(メタデータ) (2024-06-18T17:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。