論文の概要: CIBER: A Comprehensive Benchmark for Security Evaluation of Code Interpreter Agents

• arxiv url: http://arxiv.org/abs/2602.19547v1
• Date: Mon, 23 Feb 2026 06:41:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.701246
• Title: CIBER: A Comprehensive Benchmark for Security Evaluation of Code Interpreter Agents
• Title（参考訳）: CIBER: コード解釈エージェントのセキュリティ評価のための総合ベンチマーク
• Authors: Lei Ba, Qinbin Li, Songze Li,
• Abstract要約: LLMベースのコードインタプリタエージェントは、ますます重要な状況にデプロイされている。 既存のベンチマークでは、動的コード実行、ツールインタラクション、マルチターンコンテキストから生じるセキュリティリスクをキャプチャできない。 動的アタック生成、分離されたセキュアサンドボックス、状態認識評価を組み合わせた自動ベンチマークであるCIBERを紹介する。
• 参考スコア（独自算出の注目度）: 27.35968236632966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-based code interpreter agents are increasingly deployed in critical workflows, yet their robustness against risks introduced by their code execution capabilities remains underexplored. Existing benchmarks are limited to static datasets or simulated environments, failing to capture the security risks arising from dynamic code execution, tool interactions, and multi-turn context. To bridge this gap, we introduce CIBER, an automated benchmark that combines dynamic attack generation, isolated secure sandboxing, and state-aware evaluation to systematically assess the vulnerability of code interpreter agents against four major types of adversarial attacks: Direct/Indirect Prompt Injection, Memory Poisoning, and Prompt-based Backdoor. We evaluate six foundation models across two representative code interpreter agents (OpenInterpreter and OpenCodeInterpreter), incorporating a controlled study of identical models. Our results reveal that Interpreter Architecture and Model Alignment Set the Security Baseline. Structural integration enables aligned specialized models to outperform generic SOTA models. Conversely, high intelligence paradoxically increases susceptibility to complex adversarial prompts due to stronger instruction adherence. Furthermore, we identify a "Natural Language Disguise" Phenomenon, where natural language functions as a significantly more effective input modality than explicit code snippets (+14.1% ASR), thereby bypassing syntax-based defenses. Finally, we expose an alarming Security Polarization, where agents exhibit robust defenses against explicit threats yet fail catastrophically against implicit semantic hazards, highlighting a fundamental blind spot in current pattern-matching protection approaches.
• Abstract（参考訳）: LLMベースのコードインタプリタエージェントは、ますます重要なワークフローにデプロイされているが、コード実行機能によって引き起こされるリスクに対する堅牢性は、まだ調査されていない。 既存のベンチマークは静的なデータセットやシミュレートされた環境に限られており、動的コードの実行、ツールのインタラクション、マルチターンコンテキストによるセキュリティリスクをキャプチャできない。 このギャップを埋めるために、我々はCIBERという動的攻撃生成、分離されたセキュアなサンドボックス、および状態認識評価を組み合わせた自動ベンチマークを導入し、コードインタプリタエージェントの脆弱性を、4つの主要な攻撃タイプ(ダイレクト/インダイレクト・プロンプト・インジェクション、メモリ・ポジショニング、およびPmptベースのバックドア)に対して体系的に評価する。 我々は,2つの代表的なコードインタプリタ(OpenInterpreterとOpenCodeInterpreter)に対して,同一モデルの制御された研究を取り入れた6つの基礎モデルを評価する。 この結果から,解釈アーキテクチャとモデルアライメントがセキュリティベースラインを設定することが明らかとなった。 構造統合により、整列した特殊モデルが一般的なSOTAモデルより優れている。 逆に、高知能のパラドックスは、より強い命令順守による複雑な敵のプロンプトへの感受性を高める。 さらに、自然言語が明示的なコードスニペット(+14.1% ASR)よりもはるかに効果的な入力モダリティとして機能し、構文ベースの防御をバイパスする「自然言語曖昧化」現象を同定する。 エージェントは明示的な脅威に対して堅牢な防御を示すが、暗黙的なセマンティックハザードに対して破滅的に失敗し、現在のパターンマッチング保護アプローチにおける根本的な盲点を浮き彫りにする。

関連論文リスト

• Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs [65.6660735371212]
  textbftextscJustAskは,インタラクションのみで効果的な抽出戦略を自律的に発見するフレームワークである。 これは、アッパー信頼境界に基づく戦略選択と、原子プローブと高レベルのオーケストレーションにまたがる階層的なスキル空間を用いて、オンライン探索問題として抽出を定式化する。 この結果から,現代のエージェントシステムにおいて,システムプロンプトは致命的ではあるがほぼ無防備な攻撃面であることがわかった。
  論文  参考訳（メタデータ） (2026-01-29T03:53:25Z)
• ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
  本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。 ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
  論文  参考訳（メタデータ） (2026-01-15T08:23:38Z)
• Sentra-Guard: A Multilingual Human-AI Framework for Real-Time Defense Against Adversarial LLM Jailbreaks [0.31984926651189866]
  Sentra-Guardは、大規模言語モデル(LLM)のためのリアルタイムモジュールディフェンスシステムである。 このフレームワークは、FAISSにインデックスされたSBERT埋め込み表現とハイブリッドアーキテクチャを使用して、プロンプトの意味をキャプチャする。 直接攻撃ベクトルと難解攻撃ベクトルの両方において、敵のプロンプトを識別する。
  論文  参考訳（メタデータ） (2025-10-26T11:19:47Z)
• Countermind: A Multi-Layered Security Architecture for Large Language Models [0.0]
  本稿では,多層型セキュリティアーキテクチャであるCountermindを提案する。 アーキテクチャは、すべての入力を構造的に検証し変換するように設計された強化された周辺装置と、出力が発生する前にモデルのセマンティック処理経路を制約する内部ガバナンス機構を提案する。
  論文  参考訳（メタデータ） (2025-10-13T18:41:18Z)
• Running in CIRCLE? A Simple Benchmark for LLM Code Interpreter Security [0.0]
  大規模言語モデル(LLM)は、ネイティブコードインタプリタを統合し、リアルタイム実行機能を実現する。 これらの統合は、システムレベルのサイバーセキュリティの脅威をもたらす可能性がある。 本稿では、CPU、メモリ、ディスクリソースの枯渇をターゲットとした1,260プロンプトからなる単純なベンチマークであるCIRCLE(Code-Interpreter Resilience Check for LLM Exploits)を提案する。
  論文  参考訳（メタデータ） (2025-07-25T16:06:16Z)
• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• Manipulating Multimodal Agents via Cross-Modal Prompt Injection [34.35145839873915]
  マルチモーダルエージェントにおいて、これまで見過ごされていた重要なセキュリティ脆弱性を特定します。 攻撃者が複数のモードにまたがって敵の摂動を埋め込む新たな攻撃フレームワークであるCrossInjectを提案する。 本手法は,攻撃成功率を少なくとも30.1%向上させることで,最先端の攻撃よりも優れる。
  論文  参考訳（メタデータ） (2025-04-19T16:28:03Z)
• TrustRAG: Enhancing Robustness and Trustworthiness in Retrieval-Augmented Generation [31.231916859341865]
  TrustRAGは、生成のために取得される前に、悪意のある、無関係なコンテンツを体系的にフィルタリングするフレームワークである。 TrustRAGは、検索精度、効率、攻撃抵抗を大幅に改善する。
  論文  参考訳（メタデータ） (2025-01-01T15:57:34Z)
• Defending Large Language Models against Jailbreak Attacks via Semantic Smoothing [107.97160023681184]
  適応型大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 提案するSEMANTICSMOOTHは,与えられた入力プロンプトのセマンティック変換されたコピーの予測を集約するスムージングベースのディフェンスである。
  論文  参考訳（メタデータ） (2024-02-25T20:36:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。