論文の概要: HarnessSecurity-Bench: Do Security Mechanisms Really Protect Coding Agent Harnesses?

• arxiv url: http://arxiv.org/abs/2610.07639v1
• Date: Tue, 06 Oct 2026 02:34:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.760598
• Title: HarnessSecurity-Bench: Do Security Mechanisms Really Protect Coding Agent Harnesses?
• Title（参考訳）: HarnessSecurity-Bench: セキュリティメカニズムは、本当にコーディングエージェントのHarnessを保護するのか?
• Abstract要約: 我々はHarnessSecurityについて紹介する。HarnessSecurityは、オープンソースおよびクローズドソースコーディングエージェントハーネスの最初の体系的な実証的研究とベンチマークである。 そして,研究者による独立した評価と大規模言語モデル (LLM) の判断を用いて,400個のハーネス・メカニズム細胞を評価した。 確認された機構実装の約半数がオプトインであり、クローズドソースハーネスは相当な証拠ギャップを示す。
• 参考スコア（独自算出の注目度）: 40.2937514188541
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coding agent harnesses mediate tool use and authorize actions, yet their security mechanisms and runtime effects remain incompletely characterized. We present HarnessSecurity, the first systematic empirical study and benchmark of open- and closed-source coding agent harnesses. First, we derive a ten-mechanism taxonomy and then assess 400 harness-mechanism cells using independent ratings by researchers and large language model (LLM) judges. We find that about half of confirmed mechanism implementations are opt-in, while closed-source harnesses exhibit substantial evidence gaps. Second, we introduce HarnessSecurity-Bench, a benchmark of 23 tasks across five attack surfaces without sacrificing legitimate task requirements. Using separate deterministic oracles to measure task utility and attack effects with security setting comparisons, we evaluate nine mechanisms across six leading harnesses: Claude Code, Codex CLI, Gemini CLI, gptme, Qwen Code, and GitHub Copilot. Under a controlled LLM baseline GLM-5.2, we conduct 2,500 trials, recording 81,155 tool calls and over 2.2 billion tokens. Enabling auto-approve increases utility and raises attack success from 29.2% to 95.6%. Network isolation and read-only mode reduce attack effects with substantial utility losses, while command allowlisting and command denylisting reduce attack effects with a small utility loss and a utility gain, respectively. Task-level cases show that restrictions on a shared capability can obstruct both legitimate and malicious operations, and that allowed tools or commands can leave unauthorized operations reachable through alternative execution paths. Harness providers should make security settings verifiable, test alternative execution paths to protected operations, and assess attack effects alongside task utility and execution costs.
• Abstract（参考訳）: コーディングエージェントは、ツールの使用とアクションの承認を仲介するが、そのセキュリティメカニズムと実行時の効果は不完全である。 我々はHarnessSecurityについて紹介する。HarnessSecurityは、オープンソースおよびクローズドソースコーディングエージェントハーネスの最初の体系的な実証的研究とベンチマークである。 まず, 研究者による独立した評価と大規模言語モデル (LLM) の判断を用いて, テンメカリズムの分類法を導出し, 400個のハーネス・メカニズム細胞を評価した。 確認された機構実装の約半数がオプトインであり、クローズドソースハーネスは相当な証拠ギャップを示す。 第二に、HarnessSecurity-Benchは、5つの攻撃面にわたる23のタスクのベンチマークであり、正当なタスク要求を犠牲にしない。 Claude Code、Codex CLI、Gemini CLI、gptme、Qwen Code、GitHub Copilotの6つの主要なハーネスにまたがる9つのメカニズムを評価する。 制御されたLDMベースライン GLM-5.2 では、2,500 の試行を行い、81,155 のツールコールと220億以上のトークンを記録している。 オートアプロブは実用性を高め、攻撃の成功率は29.2%から95.6%に上昇する。 ネットワークアイソレーションと読み取り専用モードは、大きなユーティリティ損失を伴う攻撃効果を減少させ、コマンド許容リストとコマンド拒否リストは、それぞれ小さなユーティリティ損失とユーティリティゲインによる攻撃効果を減少させる。 タスクレベルのケースでは、共有機能に対する制限は、正当な操作と悪意のある操作の両方を妨害し、ツールやコマンドが代替実行パスを通じて許可されていない操作に到達できるようにする。 Harnessプロバイダは、セキュリティ設定を検証し、保護された操作に対する代替実行パスをテストし、タスクユーティリティと実行コストとともに攻撃効果を評価する必要がある。

関連論文リスト

• ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
  本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。 提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
  論文  参考訳（メタデータ） (2026-08-27T01:22:14Z)
• ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents [23.994328225666663]
  同僚は保護されたデータを開示し、不正な状態を操作し、不正なAPIを呼び出しながら、良質なタスクを完了することができる。 本稿では,行動安全を定義し,最終応答ではなく,実行軌跡からそのような行動リスクを評価するベンチマークであるActBenchを紹介する。 ActBenchには213のシナリオから600のケースが含まれており、15のリスク行動、6の実行スペース、48のWebサービスAPIがある。
  論文  参考訳（メタデータ） (2026-08-10T11:45:03Z)
• Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens [65.53494487819053]
  クローのようなAIエージェント(OpenClawなど)は、認証情報、ファイル、ツール、外部サービスへの永続的なアクセスを伴う、常にオンのプロセスである。 我々はClawのようなエージェントをエージェントコンピュータシステムとして扱い、そのゲートウェイランタイムがOSのような仲介の役割を担っている。 我々は、4つの攻撃面にわたる406の敵タスクのベンチマークであるSafeClawArenaを開発した。
  論文  参考訳（メタデータ） (2026-06-29T18:00:45Z)
• Synthesizing Multi-Agent Harnesses for Vulnerability Discovery [8.518689779459974]
  LLMエージェントは、人間の監査官や自動ファジッターが何十年も見逃していた、真のセキュリティ脆弱性を見つけ始めている。 実際には、作業は複数のエージェントに分割され、ハーネスによってワイヤリングされる。どの役割が存在するかを修正するプログラム、どのように情報を渡すか、どのツールを呼び出すか、リトライがどのように調整されるかである。 AgentFlowは、エージェントの役割、プロンプト、ツール、通信トポロジ、調整プロトコルを共同でカバーする型付きグラフDSLで、両方の制限に対処する。
  論文  参考訳（メタデータ） (2026-04-22T17:27:40Z)
• Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review [6.417595678110472]
  ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。 調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。 調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
  論文  参考訳（メタデータ） (2026-03-19T10:40:27Z)
• Breaking the Code: Security Assessment of AI Code Agents Through Systematic Jailbreaking Attacks [11.371490212283383]
  コード対応の大規模言語モデル(LLM)エージェントはソフトウェア工学に組み込まれ、コードを読み、書き、実行することができる。 JAWS-BENCHは、3つのエスカレーションワークスペースにまたがるベンチマークであり、攻撃能力を反映している。 JAWS-0のプロンプトのみの条件下では、コードエージェントは平均して61%の攻撃を受けており、58%が有害、52%がパース、27%がエンドツーエンドで実行される。
  論文  参考訳（メタデータ） (2025-10-01T18:38:20Z)
• STAC: When Innocent Tools Form Dangerous Chains to Jailbreak LLM Agents [38.755035623707656]
  本稿では,エージェントツールの利用を生かした新しいマルチターンアタックフレームワークSTACについて紹介する。 我々は,483のSTACケースを自動生成し,評価するために,1,352セットのユーザエージェント環境相互作用を特徴とするフレームワークを適用した。 GPT-4.1を含む最先端のLSMエージェントはSTACに対して極めて脆弱であり,攻撃成功率(ASR)は90%以上である。
  論文  参考訳（メタデータ） (2025-09-30T00:31:44Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。