論文の概要: HarnessRisk: A Lifecycle-Oriented Benchmark for Agent Harness Safety
- arxiv url: http://arxiv.org/abs/2608.17597v1
- Date: Tue, 18 Aug 2026 10:03:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.300483
- Title: HarnessRisk: A Lifecycle-Oriented Benchmark for Agent Harness Safety
- Title（参考訳）: HarnessRisk: エージェントハーネス安全性のためのライフサイクル指向ベンチマーク
- Abstract要約: エージェントの安全性を6つの運用フェーズにまとめるライフサイクル指向ベンチマークを提案する。
実用性, 攻撃成功率, 永続性, 検出性を用いて各軌道の評価を行った。
明示的なリスク認識は、90%以上の実行中のリスクを検出する構成であるため、安全行動に確実に結びつくものではないことが分かっています。
- 参考スコア（独自算出の注目度）: 45.163264704448125
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are increasingly deployed through agent harnesses that manage tools, extensions, persistent state, permissions, and external actions. Existing safety benchmarks mainly target individual attack mechanisms or a limited subset of operational settings, making it difficult to compare how safety failures emerge across different harness responsibilities. We present HarnessRisk, a lifecycle oriented benchmark that organizes agent harness safety into six operational phases including Harness Configuration, Capability Extension, Runtime Operation, State Persistence, Action Control, and Incident Recovery. HarnessRisk contains 128 sandboxed cases, each pairing a benign user objective with an adversarial instruction embedded in an untrusted workflow artifact. We evaluate each trajectory using Utility, Attack Success Rate, Persistence, and Detection. Across three harnesses, six language models, and 14 model and harness configurations, attack success ranges from 12.6% to 80.9%, while Utility remains between 75.0% and 97.6%. Harness Configuration is the most vulnerable phase across all three harnesses, showing that attacks can succeed by altering security sensitive parameters within otherwise authorized workflows. We also find that explicit risk recognition does not reliably lead to safe action, as some configurations detect risks in more than 90% of runs while retaining substantial attack success. These results highlight the need to evaluate agent safety across multiple harness responsibilities and at the level of the deployed model and harness configuration.
- Abstract（参考訳）: 大きな言語モデルは、ツール、拡張、永続状態、パーミッション、外部アクションを管理するエージェントハーネスを通じて、ますます多くデプロイされる。
既存の安全ベンチマークは、主に個々の攻撃メカニズムや運用設定の限られたサブセットをターゲットにしているため、さまざまなハーネス責任で安全障害が発生するかを比較するのは難しい。
HarnessRiskは、Harness Configuration、Capability Extension、Runtime Operation、State Persistence、Action Control、インシデントリカといった6つの運用フェーズにエージェントハーネスの安全性を編成するライフサイクル指向のベンチマークである。
HarnessRiskには128のサンドボックスケースが含まれており、それぞれが不信頼なワークフローアーティファクトに埋め込まれた対向的な命令と良心的なユーザ目標をペアリングする。
実用性, 攻撃成功率, 永続性, 検出性を用いて各軌道の評価を行った。
3つのハーネス、6つの言語モデル、14のモデルとハーネス構成で、攻撃の成功率は12.6%から80.9%、ユーティリティは75.0%から97.6%である。
Harness Configurationは3つのハーネスの中で最も脆弱なフェーズであり、他の認定ワークフロー内でセキュリティに敏感なパラメータを変更することで攻撃が成功することを示している。
また、明示的なリスク認識が安全な行動に確実に繋がらないこともわかりました。
これらの結果は、複数のハーネス責任と、デプロイされたモデルとハーネス構成のレベルでエージェントの安全性を評価する必要性を強調している。
関連論文リスト
- EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents [74.54929751174289]
EvoSafeHarnessは、ターゲットドメイン内の凍結モデルのためのデプロイ可能なハーネスを合成する、安全固有の最適化フレームワークである。
これは平均攻撃成功率を3.3ポイントのユーティリティコストで45.6%から10.0%に下げる。
また、Agent-SafetyBenchでは、すべての犠牲者に対してベストスコアを獲得している。
論文 参考訳（メタデータ） (2026-09-05T05:56:41Z) - StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing [80.39644823192113]
StepGuardは、完了したエージェントの軌跡を監査し、実行前にツールアクションをチェックするステップレベルのガードモデルである。
StepGuardは、GPT-5.4に匹敵するパフォーマンスで、オープンウェイトガードモデルの中で最高の平均精度を達成した。
AgentDojoとAgentDynのエージェントを保護するために使用される場合、StepGuardは平均攻撃成功率を77.3%削減する。
論文 参考訳（メタデータ） (2026-08-25T16:17:27Z) - ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents [23.994328225666663]
同僚は保護されたデータを開示し、不正な状態を操作し、不正なAPIを呼び出しながら、良質なタスクを完了することができる。
本稿では,行動安全を定義し,最終応答ではなく,実行軌跡からそのような行動リスクを評価するベンチマークであるActBenchを紹介する。
ActBenchには213のシナリオから600のケースが含まれており、15のリスク行動、6の実行スペース、48のWebサービスAPIがある。
論文 参考訳（メタデータ） (2026-08-10T11:45:03Z) - HarnessSafe: Evaluating Safety Across Persistent Carriers in Agent Harnesses [20.04545361404688]
ハーネスは、メモリ、スキル、ツール、共有アーティファクトといった永続的なキャリアを通じて、タスクやセッションをまたいだ状態を持続する。
攻撃者の影響のあるコンテンツは、システムの境界を越えて、その後、良心的な要求の実行に影響を与える可能性がある。
HarnessSafeは、7つの永続キャリアーファミリーで328の実行可能なケースからなるベンチマークであり、ほとんどのメインストリームエージェントハーネスで評価される。
論文 参考訳（メタデータ） (2026-08-07T09:03:49Z) - AgentS4D: Benchmarking Runtime Risks across the Execution Lifecycle of LLM-Based Workspace Agents [10.99961131065026]
大規模言語モデル(LLM)ベースのワークスペースエージェントは、異種リソースをまたいだステートフルなマルチステップを実行する。
最近のベンチマークでは、先進的な安全テストと軌道認識検証が実施されている。
我々は、ライフサイクル全体のランタイム安全性評価のためのサンドボックスベンチマークであるAgentS4Dを紹介する。
論文 参考訳（メタデータ） (2026-07-29T15:55:45Z) - Auditing Agent Harness Safety [81.22315979618612]
LLMエージェントは、ツールをディスパッチし、リソースを割り当て、特別なコンポーネント間でメッセージをルーティングする実行ハーネスの中でますます動作します。
ほとんどの安全ベンチマークは最終出力または終端状態のみをスコアするが、多くの違反は終端ではなく、軌道の途中で発生する。
HarnessAuditは、境界コンプライアンス、実行の忠実さ、システムの安定性など、完全な実行軌跡を監査するフレームワークである。
論文 参考訳（メタデータ） (2026-05-14T02:14:28Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - SafeHarness: Lifecycle-Integrated Security Architecture for LLM-based Agent Deployment [19.947119280467934]
セーフハーネス(Safeharness)は、4つの防衛レイヤがエージェントライフサイクルに直接織られるセキュリティアーキテクチャである。
ベンチマークデータセットの安全性を、多様なハーネス構成で評価する。
論文 参考訳（メタデータ） (2026-04-15T08:59:00Z) - ATBench: A Diverse and Realistic Agent Trajectory Benchmark for Safety Evaluation and Diagnosis [96.92417622318267]
ATBenchは、エージェント安全性の構造化、多様性、現実的な評価のための軌道レベルのベンチマークである。
リスクソース、障害モード、現実世界の危害の3つの側面に沿ってエージェント的リスクを編成する。
1000個の軌道(安全503個、安全497個)があり、平均9.01ターンと3.95kトークンがあり、2,084個のツールにまたがるプールから1,954個のツールが呼び出されている。
論文 参考訳（メタデータ） (2026-04-02T13:26:20Z) - AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions [64.85086226439954]
本稿では,有害な指示に対するVLMエージェントの安全性を評価するためのベンチマークであるSAFEを提案する。
SAFEは、SAFE−THOR、SAFE−VERSE、SAFE−DIAGNOSEの3つの成分からなる。
我々は、ハザード認識を安全な計画と実行に翻訳する体系的な失敗を明らかにする。
論文 参考訳（メタデータ） (2025-06-17T16:37:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。