論文の概要: ToolHazard: Scaling Adversarial Environments for Security Evaluation and Alignment of LLM-based Agents

• arxiv url: http://arxiv.org/abs/2608.11878v1
• Date: Wed, 12 Aug 2026 10:05:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.550804
• Title: ToolHazard: Scaling Adversarial Environments for Security Evaluation and Alignment of LLM-based Agents
• Title（参考訳）: ToolHazard: LLMエージェントのセキュリティ評価とアライメントのための環境スケーリング
• Abstract要約: 外部ツールと統合された大規模言語モデル(LLM)エージェントは、環境状態に埋め込まれたインジェクションに対して脆弱である。 ToolHazardは、ヒューマンエンジニアリングを削減し、追加のシードドメインと計算による拡張をサポートするスケーラブルな環境合成フレームワークである。
• 参考スコア（独自算出の注目度）: 35.530237857517626
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language model (LLM) agents integrated with external tools are vulnerable to indirect prompt injections embedded in environmental states. However, existing studies largely rely on manually implemented or reused environments, stochastic LLM-based tool simulation, and predefined injection locations, limiting scalable security research across broader domains. To bridge this gap, we propose **ToolHazard**, a scalable adversarial environment synthesis framework that reduces human engineering and supports expansion with additional seed domains and compute. Through an Environment Simulator, an Attacker Agent, and a User Simulator, ToolHazard synthesizes executable stateful environments, discovers viable injection points and generates environment-specific payloads, and constructs state-grounded long-horizon tasks. Based on ToolHazard, we build **ToolHazard-Bench** for stress-testing agents under complex workflows and diverse environmental attacks. Experiments reveal substantial agent vulnerabilities and show that injection timing and placement affect attack effectiveness. Moreover, ToolHazard-generated alignment data improves security on both ToolHazard-Bench and AgentDojo while preserving benign task utility.
• Abstract（参考訳）: 外部ツールと統合された大規模言語モデル(LLM)エージェントは、環境に埋め込まれた間接的なインジェクションに対して脆弱である。 しかし、既存の研究は、手動で実装または再利用された環境、確率的LLMベースのツールシミュレーション、および事前に定義された注入場所に依存しており、広範囲にわたるスケーラブルなセキュリティ研究を制限する。 このギャップを埋めるために、私たちは**ToolHazard**を提案します。これは、スケーラブルな敵環境合成フレームワークで、人間のエンジニアリングを減らし、追加のシードドメインと計算で拡張をサポートします。 Environment Simulator、Attacker Agent、User Simulatorを通じて、ToolHazardは実行可能なステートフル環境を合成し、実行可能なインジェクションポイントを発見し、環境固有のペイロードを生成し、ステートグラウンドのロングホライゾンタスクを構築する。 ToolHazardをベースに、複雑なワークフローと多様な環境攻撃下でのストレステストエージェント用に**ToolHazard-Bench*を構築します。 実験により、エージェントの重大な脆弱性が明らかとなり、インジェクションのタイミングと配置が攻撃の有効性に影響を与えることが示された。 さらに、ToolHazardの生成したアライメントデータは、良質なタスクユーティリティを保持しながら、ToolHazard-BenchとAgentDojoのセキュリティを改善します。

関連論文リスト

• SPADE: Self-Play in Adaptive Synthetic Executable Environments [110.80471334001574]
  1つのLLMが2つの役割を演じるセルフプレイのRLフレームワークであるSPADEを紹介する。 Environment Designerは、OpenAI Gymスタイルのreset()/step()インターフェイスで実行可能なコードとして、完全な長距離トレーニング環境を記述する。 環境デザイナは,大規模な事前学習コーパスから採取した文書に基づいて構築し,蓄積した環境記憶を与える。
  論文  参考訳（メタデータ） (2026-08-19T17:58:56Z)
• Hybrid Analysis for Secure MCP Tool Use in LLM Agents [77.68135853475535]
  大規模言語モデル(LLM)エージェントにおけるMPPツールの使用を保護するためのハイブリッド分析に基づく防衛フレームワークを提案する。 MTGuardは、良質なユーザタスクのパフォーマンスを維持しながら、異なるLLMエージェント間での有害ツール使用の複数のカテゴリを効果的に緩和する。
  論文  参考訳（メタデータ） (2026-07-28T05:17:34Z)
• AgentGym2: Benchmarking Large Language Model Agents in De-Idealized Real-World Environments [84.8170304874972]
  我々はAgentGym2について紹介する。これは実世界の作業要求に根ざしたタスクインスタンスを備えた新しい評価フレームワークである。 エージェントのエンドツーエンドのプロシージャの実行能力を測定し、探索を通じてツールを発見し、目に見えないタスクのためのツールを作成し、ノイズや不特定情報に対して堅牢な状態を保つ。
  論文  参考訳（メタデータ） (2026-07-06T14:56:51Z)
• Can Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use [14.813603277906623]
  我々は、クエリ、アクション、観察、ドメイン次元の分散シフトを特徴とするOpenAgentを定式化した。 分析の結果, エージェントがスーパーバイザード・ファイン・チューニング(SFT)と強化学習(Reinforcement Learning)の両方で訓練された場合, 性能劣化の程度が異なることが判明した。 本研究では,実環境におけるエージェントの堅牢性向上と実用性向上の基盤となる,SFTの妨害に基づく介入戦略であるPerturbation-Augmented Fine-Tuningを提案する。
  論文  参考訳（メタデータ） (2026-07-01T15:40:25Z)
• Agent World Model: Infinity Synthetic Environments for Agentic Reinforcement Learning [62.499592503950026]
  大規模言語モデル(LLM)は、ツールや環境とのマルチターンインタラクションを必要とする複雑なタスクを実行するために、自律エージェントに権限を与えている。 完全合成環境生成パイプラインであるエージェント・ワールド・モデル(AWM)を提案する。 私たちは、エージェントがリッチなツールセットと対話できる、毎日のシナリオをカバーする1,000の環境にスケールします。
  論文  参考訳（メタデータ） (2026-02-10T18:55:41Z)
• ToolGym: an Open-world Tool-using Environment for Scalable Agent Testing and Data Curation [42.479399507055454]
  一般的な204のアプリにまたがって,571フォーマットの統一ツール上に構築された,オープンワールドのツール使用環境を紹介します。 これには、ロングホライゾンを合成するタスク生成エンジン、ワイルド制約付きマルチツール、ストレス-テストの堅牢性に割り込みと失敗を注入するステートコントローラが含まれる。 最先端のLLMの総合評価では、ツール計画と実行能力の相違、既存のLLMの弱点に続く制約、DeepSeek-v3.2の強靭さが明らかにされている。
  論文  参考訳（メタデータ） (2026-01-09T21:59:31Z)
• AutoForge: Automated Environment Synthesis for Agentic Reinforcement Learning [71.4322853508083]
  シミュレーション環境における強化学習の実施は、言語ベースのエージェントを強化するためのコスト効率が高く、スケーラブルな方法を提供する。 これまでの作業は、半自動化された環境合成や、十分な困難を欠いたタスクに限られており、幅や深さがほとんどない。 本稿では,高難易度かつ容易に検証可能なタスクに関連付けられたシミュレーション環境の,自動化されたスケーラブルな合成のための統一パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-12-28T09:43:11Z)
• AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions [64.85086226439954]
  本稿では,有害な指示に対するVLMエージェントの安全性を評価するためのベンチマークであるSAFEを提案する。 SAFEは、SAFE−THOR、SAFE−VERSE、SAFE−DIAGNOSEの3つの成分からなる。 我々は、ハザード認識を安全な計画と実行に翻訳する体系的な失敗を明らかにする。
  論文  参考訳（メタデータ） (2025-06-17T16:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。