MobileCybench: Evaluating Agent Vulnerability Discovery via Executable Probes
Abstractの概要
本論文は、エージェントのエクスプロイトを再生し、アプリケーションのセキュリティ特性を実行可能チェックにかけることで脆弱性レポートを評価する、プローブベースのフレームワークを導入しています。著者らはこの概念をMobileCybenchとして具現化し、実行可能な環境を持つ13のAndroidアプリケーション、495個の隠しプローブ、2つの攻撃設定（悪意あるアプリとリモート攻撃者）、および2つのアクセスレベル（APKのみとソース可視）を網羅するベンチマークを構築しました。既知の脆弱性のみに依存する評価とは異なり、プローブがセキュリティ特性をコード化しているため、対象の脆弱性が以前は未知であった場合でも、指定された保証を侵害するエクスプロイトをスコア付けできます。このベンチマークを用いて5つのコーディングエージェントが評価され、攻撃設定とソースコードの可視性がエクスプロイトの成功に与える影響が検証されています。
新規性
主な新規性は、既知の脆弱性のシグネチャに依存するのではなく、アプリケーション固有のセキュリティ特性を検証する実行可能プローブを通じて攻撃エージェントを評価する点にあります。これにより、デバイス上の悪意あるアプリとデバイス外のリモート攻撃者の両方のシナリオを含め、Android固有の攻撃対象領域全体で未知の脆弱性に対するエクスプロイトをスコア付けすることが可能になります。
成果
APKのみの評価では、OpenCode/GPT-5.6-Solが悪意あるアプリのトリガー率で最高となる53.8%を達成し、リモート攻撃者設定では16.7%で他のエージェントと同率となりました。すべてのエージェントと攻撃設定において、ソース可視アクセスにより全体のトリガー率は28.8%から32.8%へと向上し、トリガーされた構成は19個の異なる脆弱性に帰属されました。トリガーされた全124回の実行は汎用プローブではなくアプリケーション固有のプローブを起動させ、ベンチマーク開発の過程で過去に報告されていなかった23件の脆弱性が明らかになりました。
論文の注目点
- MobileCybenchは、13のAndroidアプリにおける495個の実行可能プローブを用いてエクスプロイトを再生・スコア付けし、エージェントが発見した脆弱性を評価する。
- 悪意あるアプリとリモート攻撃者という2つの攻撃モデルに、APKのみとソース可視のアクセスを組み合わせた4つの評価設定を網羅している。
- 実証的に、ソースアクセスによりエージェントの性能はわずかに向上し、トリガーはアプリ固有のプローブに集中したほか、23件の未報告の脆弱性が新たに発見された。