論文の概要: VeriGrey: Greybox Agent Validation
- arxiv url: http://arxiv.org/abs/2603.17639v1
- Date: Wed, 18 Mar 2026 12:00:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-19 18:32:57.681978
- Title: VeriGrey: Greybox Agent Validation
- Title（参考訳）: VeriGrey: Greybox Agent Validation
- Abstract要約: LLMエージェントの多様な動作を探索し,セキュリティリスクを明らかにするためのグレーボックスアプローチを提案する。
我々のアプローチでは、VeriGreyはフィードバック関数として呼び出された一連のツールを使ってテストプロセスを動かします。
また、広く使われているコーディングエージェントであるGemini CLIや、有名なOpenClawパーソナルアシスタントによる実世界のケーススタディも行っています。
- 参考スコア（独自算出の注目度）: 21.512659070355145
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic AI has been a topic of great interest recently. A Large Language Model (LLM) agent involves one or more LLMs in the back-end. In the front end, it conducts autonomous decision-making by combining the LLM outputs with results obtained by invoking several external tools. The autonomous interactions with the external environment introduce critical security risks. In this paper, we present a grey-box approach to explore diverse behaviors and uncover security risks in LLM agents. Our approach VeriGrey uses the sequence of tools invoked as a feedback function to drive the testing process. This helps uncover infrequent but dangerous tool invocations that cause unexpected agent behavior. As mutation operators in the testing process, we mutate prompts to design pernicious injection prompts. This is carefully accomplished by linking the task of the agent to an injection task, so that the injection task becomes a necessary step of completing the agent functionality. Comparing our approach with a black-box baseline on the well-known AgentDojo benchmark, VeriGrey achieves 33% additional efficacy in finding indirect prompt injection vulnerabilities with a GPT-4.1 back-end. We also conduct real-world case studies with the widely used coding agent Gemini CLI, and the well-known OpenClaw personal assistant. VeriGrey finds prompts inducing several attack scenarios that could not be identified by black-box approaches. In OpenClaw, by constructing a conversation agent which employs mutational fuzz testing as needed, VeriGrey is able to discover malicious skill variants from 10 malicious skills (with 10/10= 100% success rate on the Kimi-K2.5 LLM backend, and 9/10= 90% success rate on Opus 4.6 LLM backend). This demonstrates the value of a dynamic approach like VeriGrey to test agents, and to eventually lead to an agent assurance framework.
- Abstract（参考訳）: 最近、エージェントAIは大きな関心を集めている。
LLM(Large Language Model)エージェントは、バックエンドに1つ以上のLLMを含む。
フロントエンドでは、LCM出力と複数の外部ツールを呼び出した結果を組み合わせることで、自律的な意思決定を行う。
外部環境との自律的な相互作用は、重大なセキュリティリスクをもたらす。
本稿では, LLMエージェントの多様な動作を探索し, セキュリティリスクを明らかにするため, グレーボックスアプローチを提案する。
我々のアプローチでは、VeriGreyはフィードバック関数として呼び出された一連のツールを使ってテストプロセスを動かします。
これは、予期しないエージェントの振る舞いを引き起こす頻繁だが危険なツール呼び出しを明らかにするのに役立ちます。
テストプロセスにおける突然変異演算子として、悪質なインジェクションプロンプトを設計するプロンプトを変異させる。
これは、エージェントのタスクをインジェクションタスクにリンクすることで、エージェント機能を完了させるために必要なステップとなるように、慎重に達成される。
よく知られているAgentDojoベンチマークのブラックボックスベースラインと比較すると、VeriGreyはGPT-4.1バックエンドで間接的なインジェクション脆弱性を見つける上で、さらに33%の有効性を実現している。
また、広く使われているコーディングエージェントであるGemini CLIや、有名なOpenClawパーソナルアシスタントによる実世界のケーススタディも行っています。
VeriGreyは、ブラックボックスアプローチでは特定できないいくつかの攻撃シナリオを誘発するプロンプトを見つける。
OpenClawでは、必要に応じて突然変異ファズテストを利用する会話エージェントを構築することで、VeriGreyは悪意のある10のスキルから悪意のあるスキルの変種を発見することができる(Kim-K2.5 LLMバックエンドでは10/10=100%、Opus 4.6 LLMバックエンドでは9/10=90%)。
これは、テストエージェントに対するVeriGreyのような動的アプローチの価値を示し、最終的にはエージェント保証フレームワークにつながる。
関連論文リスト
- ClawSentry: A Progressive Multi-Tier Security Monitor for Safeguarding Autonomous LLM Agents [24.540638169054812]
悪意のあるサードパーティのスキルにハイジャックされた単一のエージェントは、データの流出、特権のエスカレーション、カスケード妥協を引き起こす可能性がある。
我々は、エージェントランタイムのためのオープンソースのフレームワークに依存しないセキュリティ監視ゲートウェイであるClawSentryを紹介する。
論文 参考訳（メタデータ） (2026-08-21T13:47:51Z) - AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent [53.82005364479556]
大規模言語モデル(LLM)に基づく符号化エージェントは、驚くべき自律性を示す。
既存の安全機構は主に外部ガードレールに依存している。
我々は,ランタイムの安全性検出と表現レベルの緩和を行う,ホワイトボックスの防御フレームワークであるAgentLensを提案する。
論文 参考訳（メタデータ） (2026-06-21T21:13:55Z) - SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。
フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。
本手法は,現実的な環境下で高い攻撃成功率を達成する。
論文 参考訳（メタデータ） (2026-02-15T16:09:48Z) - Sponge Tool Attack: Stealthy Denial-of-Efficiency against Tool-Augmented Agentic Reasoning [58.432996881401415]
最近の作業では、エージェント推論を可能にするために、外部ツールで大きな言語モデル(LLM)を拡張している。
本稿では,入力プロンプトを書き換えることのみでエージェント推論を妨害するスポンジツールアタック(STA)を提案する。
STAは、意味的忠実度の高い原文からの良心的な即興的な書き直しを生成する。
論文 参考訳（メタデータ） (2026-01-24T19:36:51Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳（メタデータ） (2025-05-09T07:40:17Z) - Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。
本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。
最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
論文 参考訳（メタデータ） (2025-04-30T23:09:44Z) - UDora: A Unified Red Teaming Framework against LLM Agents by Dynamically Hijacking Their Own Reasoning [17.448966928905733]
外部ツールを備えた大規模言語モデル(LLM)エージェントは、複雑なタスクに対してますます強力になっている。
UDoraはLDMエージェント用に設計された統一されたレッド・チーム・フレームワークで、エージェントの推論プロセスを動的にハイジャックし、悪意ある振る舞いを強制する。
論文 参考訳（メタデータ） (2025-02-28T21:30:28Z) - Towards Action Hijacking of Large Language Model-based Agent [23.13653350521422]
LLMベースのアプリケーションのアクションプランを操作するための新しい攻撃であるAI$mathbf2$を紹介する。
まず、被害者のアプリケーションからアクション認識の知識を収集する。
このような知識に基づいて、攻撃者は誤解を招く入力を生成することができ、LLMを誤解して有害なアクションプランを生成することができる。
論文 参考訳（メタデータ） (2024-12-14T12:11:26Z) - Imprompter: Tricking LLM Agents into Improper Tool Use [35.255462653237885]
大規模言語モデル(LLM)エージェントは、生成機械学習とコードインタプリタ、Webブラウジング、メール、より一般的には外部リソースなどのツールを融合した、新興コンピューティングパラダイムである。
我々はエージェントベースのシステムのセキュリティ基盤に貢献し、自動的に計算された難読化された敵攻撃の新しいクラスを探索する。
論文 参考訳（メタデータ） (2024-10-19T01:00:57Z) - AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。
我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。
主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
論文 参考訳（メタデータ） (2024-10-11T17:39:22Z) - InjecAgent: Benchmarking Indirect Prompt Injections in Tool-Integrated Large Language Model Agents [3.5248694676821484]
IPI攻撃に対するツール統合LDMエージェントの脆弱性を評価するためのベンチマークであるInjecAgentを紹介する。
InjecAgentは17の異なるユーザーツールと62の攻撃ツールをカバーする1,054のテストケースで構成されている。
エージェントはIPI攻撃に対して脆弱であり、ReAct-prompted GPT-4は24%の時間攻撃に対して脆弱である。
論文 参考訳（メタデータ） (2024-03-05T06:21:45Z) - Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based Agents [47.219047422240145]
我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。
具体的には、ユーザ入力とモデル出力のみを操作できる従来のLDMに対するバックドア攻撃と比較して、エージェントバックドア攻撃はより多様で隠蔽的な形式を示す。
論文 参考訳（メタデータ） (2024-02-17T06:48:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。