論文の概要: LITMUS: Benchmarking Behavioral Jailbreaks of LLM Agents in Real OS Environments

• arxiv url: http://arxiv.org/abs/2605.10779v1
• Date: Mon, 11 May 2026 16:14:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.969997
• Title: LITMUS: Benchmarking Behavioral Jailbreaks of LLM Agents in Real OS Environments
• Title（参考訳）: LITMUS: 実OS環境におけるLDMエージェントの動作ジェイルブレークのベンチマーク
• Authors: Chiyu Zhang, Huiqin Yang, Bendong Jiang, Xiaolei Zhang, Yiran Zhao, Ruyi Chen, Lu Zhou, Xiaogang Xu, Jiafei Wu, Liming Fang, Zhe Liu,
• Abstract要約: 行動ジェイルブレイクは、敵がエージェントに危険なOSレベルの操作を不可逆的な結果で実行するように誘導する場所である。 既存のベンチマークでは、セマンティックレイヤ単独で安全性を評価したり、物理的レイヤの障害を欠いたり、テストケースの分離に失敗したりしている。 セマンティック物理二重検証機構とOSレベルの状態ロールバックにより,両方のギャップに対処するベンチマークLITMUSを提案する。
• 参考スコア（独自算出の注目度）: 26.85543164204341
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid proliferation of LLM-based autonomous agents in real operating system environments introduces a new category of safety risk beyond content safety: behavior jailbreak, where an adversary induces an agent to execute dangerous OS-level operations with irreversible consequences. Existing benchmarks either evaluate safety at the semantic layer alone, missing physical-layer harms, or fail to isolate test cases, letting earlier runs contaminate later ones. We present LITMUS (LLM-agents In-OS Testing for Measuring Unsafe Subversion), a benchmark addressing both gaps via a semantic-physical dual verification mechanism and OS-level state rollback. LITMUS comprises 819 high-risk test cases organized into one harmful seed subset and six attack-extended subsets covering three adversarial paradigms (jailbreak speaking, skill injection, and entity wrapping), plus a fully automated multi-agent evaluation framework judging behavior at both conversational and OS-level physical layers. Evaluation across frontier agents reveals three findings: (1) current agents lack effective safety awareness, with strong models (e.g., Claude Sonnet 4.6) still executing 40.64% of high-risk operations; (2) agents exhibit pervasive Execution Hallucination (EH), verbally refusing a request while the dangerous operation has already completed at the system level, invisible to every prior semantic-only framework; and (3) skill injection and entity wrapping attacks achieve high success rates, exposing pronounced agent vulnerabilities. LITMUS provides the first standardized platform for reproducible, physically grounded behavioral safety evaluation of LLM agents in real OS environments.
• Abstract（参考訳）: 実際のオペレーティングシステム環境におけるLDMベースの自律エージェントの急速な普及は、コンテンツ安全性を超えた新たな安全リスクのカテゴリを導入している。 既存のベンチマークでは、セマンティックレイヤ単独で安全性を評価したり、物理的レイヤの障害を欠いたり、テストケースの分離に失敗したりしている。 LITMUS(LLM-agents In-OS Testing for Measurementing Unsafe Subversion)は,セマンティック物理二重検証機構とOSレベルの状態ロールバックによって,両方のギャップに対処するベンチマークである。 LITMUSは、有害なシードサブセット1つに組織された819のハイリスクテストケースと、3つの対立パラダイム(ジェイルブレイク、スキルインジェクション、エンティティラッピング)をカバーする6つのアタック拡張サブセットと、会話層とOSレベルの物理層の両方で振る舞いを判断する完全に自動化されたマルチエージェント評価フレームワークで構成される。 フロンティアエージェントによる評価では,(1) 強力なモデル (例えば Claude Sonnet 4.6) が40.64% のハイリスク操作を実行している,(2) 広範囲な実行幻覚(EH)を示す,(2) 危険な操作がすでにシステムレベルで完了している間,言葉で要求を拒否する,(3) スキルインジェクションとエンティティラッピング攻撃は高い成功率を達成し,明らかなエージェント脆弱性を明らかにしている,という3つの結果が示されている。 LITMUSは、実OS環境におけるLLMエージェントの再現可能で物理的に根拠付けられた行動安全評価のための、最初の標準化されたプラットフォームを提供する。

関連論文リスト

• The Dark Side of LLMs: Agent-based Attacks for Complete Computer Takeover [0.0]
  大規模言語モデル(LLM)エージェントとマルチエージェントシステムは、従来のコンテンツ生成からシステムレベルの妥協まで及ぶセキュリティ脆弱性を導入している。 本稿では,自律エージェント内の推論エンジンとして使用されるLLMのセキュリティを総合的に評価する。 異なる攻撃面と信頼境界がどのように活用され、そのような乗っ取りを組織化できるかを示す。
  論文  参考訳（メタデータ） (2025-07-09T13:54:58Z)
• OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
  OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
  論文  参考訳（メタデータ） (2025-07-08T16:18:54Z)
• IS-Bench: Evaluating Interactive Safety of VLM-Driven Embodied Agents in Daily Household Tasks [30.535665641990114]
  対話型安全性のために設計された最初のマルチモーダルベンチマークであるIS-Benchを紹介する。 高忠実度シミュレーターでインスタンス化された388のユニークな安全リスクを持つ161の挑戦的なシナリオが特徴である。 これは、特定のリスク発生ステップの前/後においてリスク軽減アクションが実行されるかどうかを検証する、プロセス指向の新たな評価を容易にする。
  論文  参考訳（メタデータ） (2025-06-19T15:34:46Z)
• AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions [64.85086226439954]
  本稿では,有害な指示に対するVLMエージェントの安全性を評価するためのベンチマークであるSAFEを提案する。 SAFEは、SAFE−THOR、SAFE−VERSE、SAFE−DIAGNOSEの3つの成分からなる。 我々は、ハザード認識を安全な計画と実行に翻訳する体系的な失敗を明らかにする。
  論文  参考訳（メタデータ） (2025-06-17T16:37:35Z)
• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
  我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。 SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
  論文  参考訳（メタデータ） (2024-12-17T18:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。