論文の概要: MobileCybench: Evaluating Agent Vulnerability Discovery via Executable Probes
- arxiv url: http://arxiv.org/abs/2609.23980v1
- Date: Mon, 21 Sep 2026 01:21:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.03698
- Title: MobileCybench: Evaluating Agent Vulnerability Discovery via Executable Probes
- Title（参考訳）: MobileCybench: 実行可能なプローブによるエージェント脆弱性発見の評価
- Abstract要約: 本稿では,プローブを用いた脆弱性レポート評価フレームワークを提案する。
報告されたエクスプロイトは、アプリケーションに対してそれを再生し、プローブを実行することで評価される。
プローブが既知の脆弱性ではなくセキュリティプロパティをエンコードしているため、プローブがいつ書かれたか分からない脆弱性を検出することができる。
- 参考スコア（独自算出の注目度）: 79.56668124357292
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents now report vulnerabilities faster than maintainers can review them. Reports often depend on security properties specific to the application, and require considerable human labor to process. To mitigate this, we introduce a framework for evaluating vulnerability reports via probes, executable checks of security properties. A reported exploit is evaluated by replaying it against the application and running the probes: a triggered probe indicates both that the exploit succeeded and which security property it violated. As a probe encodes a security property rather than a known vulnerability, it can detect vulnerabilities that were not known when the probe was written. We instantiate the framework as MobileCybench, a benchmark for vulnerability discovery by AI agents in 13 Android applications, with 495 probes written and reviewed by the authors. We evaluate 5 coding agents (OpenCode with GPT-5.5, GPT-5.6-Sol, and GLM-5.2; Claude Code with Opus 4.8 and Opus 5) under 4 settings: as a malicious app on the victim's device or as a remote attacker with a low-privilege account, each with either only an obfuscated APK or access to the application's source code. Given only the obfuscated APK, the top agent, OpenCode with GPT-5.6-Sol, triggers probes in 53.8% of applications in the malicious-app setting and 16.7% in the remote-attacker setting. With source code, the trigger rate across all agents and both attack settings increases from 28.8% to 32.8%. Building and running the benchmark surfaced 23 previously unreported vulnerabilities, the majority of which have been confirmed by maintainers.
- Abstract（参考訳）: AIエージェントは、メンテナがレビューできるよりも早く脆弱性を報告できる。
報告は、しばしばアプリケーション固有のセキュリティ特性に依存し、処理に相当な人的労力を必要とする。
これを軽減するために,プローブによる脆弱性報告の評価,セキュリティ特性の実行可能なチェックを行うフレームワークを導入する。
報告されたエクスプロイトは、アプリケーションに対してそれを再生し、プローブを実行することで評価される。
プローブが既知の脆弱性ではなくセキュリティプロパティをエンコードしているため、プローブがいつ書かれたか分からない脆弱性を検出することができる。
このフレームワークは、13のAndroidアプリケーションにおけるAIエージェントによる脆弱性発見のベンチマークであるMobileCybenchとしてインスタンス化され、495のプローブが著者によって書かれ、レビューされている。
我々は、5つのコーディングエージェント(OpenCode with GPT-5.5, GPT-5.6-Sol, GLM-5.2; Claude Code with Opus 4.8, Opus 5)を4つの設定で評価した。
GPT-5.6-Solを使用したOpenCodeのトップエージェントである難読化APKだけが、悪意のあるアプリケーション設定における53.8%のアプリケーションと、リモートアタック設定における16.7%のプローブをトリガーする。
ソースコードでは、すべてのエージェントのトリガーレートと攻撃設定の両方が28.8%から32.8%に増加する。
ベンチマークの構築と実行は、以前報告されていない脆弱性23つに表面化しており、その大部分がメンテナによって確認されている。
関連論文リスト
- VEX-Bench: Benchmarking LLM Agents for Assessing Exploitability of Software Supply Chain Vulnerabilities [8.261542578922597]
ソフトウェアサプライチェーン脆弱性の悪用性を評価できるLSMエージェントの能力を評価するための最初のベンチマークを紹介する。
VEX-Benchには、GitHubから発掘され、セキュリティの専門家によってラベル付けされた75の現実世界のケースが含まれており、Python、Java、Goをカバーしている。
GPT-5.5とClaude Opus 4.6はバイナリ脆弱性統計分類で約80%のF1に達したが、きめ細かい正当性分類で70%のマクロF1を超えたのはGPT-5.5のみである。
論文 参考訳（メタデータ） (2026-09-07T22:52:09Z) - On Understanding, Identifying, and Mitigating Vulnerabilities in Agentic Large Language Models [2.8528615301556997]
大規模言語モデル(LLM)は、ステートレスな会話インターフェースから自律的なエージェントへとシフトしてきた。
妥協された推論ステップは、不正なデータアクセス、不可逆的な状態変更、障害のカスケードを引き起こす可能性がある。
本研究では,PRISMA 2020ガイドラインに基づく体系的な文献レビューを行った。
論文 参考訳（メタデータ） (2026-08-11T06:11:26Z) - Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens [65.53494487819053]
クローのようなAIエージェント(OpenClawなど)は、認証情報、ファイル、ツール、外部サービスへの永続的なアクセスを伴う、常にオンのプロセスである。
我々はClawのようなエージェントをエージェントコンピュータシステムとして扱い、そのゲートウェイランタイムがOSのような仲介の役割を担っている。
我々は、4つの攻撃面にわたる406の敵タスクのベンチマークであるSafeClawArenaを開発した。
論文 参考訳（メタデータ） (2026-06-29T18:00:45Z) - ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? [92.21756459993695]
低レベルのプログラム推論を必要とするため、爆発は難しい作業です。
その重要性と診断価値にもかかわらず、搾取は未評価のままである。
ExploitGymは、AIエージェントのエクスプロイト能力に関する大規模で多様な、現実的なベンチマークである。
論文 参考訳（メタデータ） (2026-05-11T18:00:14Z) - MOSAIC-Bench: Measuring Compositional Vulnerability Induction in Coding Agents [2.1942030377331245]
コーディングエージェントは、しばしばプロンプト毎の安全性レビューをパスするが、それらのタスクが通常のエンジニアリングチケットに分解されると、悪用可能なコードを出荷する。
199個の3段階攻撃チェーンのベンチマークであるMOSAIC-Benchを紹介する。
9つのプロダクションコーディングエージェントが53～86%の終末ASRで無害なチケットを構成しており、全ステージで2回しか拒否しないことを示す。
論文 参考訳（メタデータ） (2026-05-05T16:38:23Z) - Your Agent, Their Asset: A Real-World Safety Analysis of OpenClaw [87.97230960702274]
本稿では,OpenClawの安全性評価について紹介する。
エージェントの永続状態を3次元に統一するCIK分類法を導入する。
評価では、ライブOpenClawインスタンス上の12のアタックシナリオをカバーしています。
論文 参考訳（メタデータ） (2026-04-06T15:27:05Z) - When "Correct" Is Not Safe: Can We Trust Functionally Correct Patches Generated by Code Agents? [32.85968956009615]
コードエージェントは、GitHubなどのプラットフォーム上のバグを自律的に修正することをますます信頼している。
本稿では,実世界のコードエージェントに対する新たなタイプの脅威を明らかにする。
我々は、SOTA LLM(例えば、ChatGPTとClaude)とエージェントの足場(例えば、SWE-agentとOpenHands)がこのFCV脅威に対して脆弱であることを示す。
論文 参考訳（メタデータ） (2025-10-15T17:16:36Z) - Agentic Discovery and Validation of Android App Vulnerabilities [8.298163888812233]
既存のAndroidの脆弱性検出ツールは、何千もの低信号警告でチームを圧倒している。
アナリストはこれらの結果をトリガして、セキュリティパイプラインのボトルネックを発生させるのに何日も費やしている。
セキュリティの専門家がAndroidの脆弱性を分析し、検証する方法を反映したシステムであるA2を紹介する。
論文 参考訳（メタデータ） (2025-08-29T12:32:35Z) - BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems [62.17474934536671]
我々は、現実世界のシステムを進化させる際に、攻撃的かつ防御的なサイバー能力を捕獲する最初の枠組みを紹介する。
脆弱性ライフサイクルを捉えるために、3つのタスクタイプを定義します。検出(新たな脆弱性の検出)、エクスプロイト(特定の脆弱性の探索)、パッチ(特定の脆弱性のパッチ)。
Claude Code,OpenAI Codex CLI with o3-high and o4-mini,カスタムエージェント with o3-high, GPT-4.1, Gemini 2.5 Pro Preview, Claude 3.7 Sonnet Thinking, DeepSeek-R1。
論文 参考訳（メタデータ） (2025-05-21T07:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。