論文の概要: ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents

• arxiv url: http://arxiv.org/abs/2608.09476v1
• Date: Mon, 10 Aug 2026 11:45:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.23979
• Title: ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents
• Title（参考訳）: ActBench: 作業エージェントの行動安全の自己進化ベンチマーク
• Abstract要約: 同僚は保護されたデータを開示し、不正な状態を操作し、不正なAPIを呼び出しながら、良質なタスクを完了することができる。 本稿では,行動安全を定義し,最終応答ではなく,実行軌跡からそのような行動リスクを評価するベンチマークであるActBenchを紹介する。 ActBenchには213のシナリオから600のケースが含まれており、15のリスク行動、6の実行スペース、48のWebサービスAPIがある。
• 参考スコア（独自算出の注目度）: 23.994328225666663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cowork agents may complete benign tasks while disclosing protected data, manipulating unauthorized state, invocate unauthorized API. We define behavioral safety and introduce ActBench, a self-evolving benchmark that evaluates such behavior risk from execution trajectories rather than final responses. Each case pairs a benign task with an adversarial variant that preserves its instruction, configuration, initial state, rating model, and trusted records while injecting a task-reachable payload. ActBench contains 600 cases from 213 scenarios, spanning 15 risk behaviors, six execution spaces, and 48 web-service APIs.To move beyond static payloads, we propose a reward-guided beam search method that jointly optimizes attack effectiveness and task utility, while reflection diagnoses failed execution checkpoint and guides payload revision. Besides, we propose a dual evidence verification mechanism that verifies agent execution safety and utility through log evidence and LLM-based trajectory evidence.We evaluate 15 LLMs and 6 open-source cowork agents over 24,000 trajectories. Under a fixed harness, attack success rates ranges from 10.1% to 94.4% across models, while under a fixed base model, they range from 73.7% to 94.4% across agents.These results show greater variation across models than agent harness, while attacks remain highly successful across all tested harnesses.Our benchmark is released at: https://github.com/zjuicsr/ActBench.
• Abstract（参考訳）: 同僚は保護されたデータを開示し、不正な状態を操作し、不正なAPIを呼び出しながら、良質なタスクを完了することができる。 本稿では,行動安全を定義し,最終応答ではなく,実行軌跡から行動リスクを評価する自己進化型ベンチマークであるActBenchを紹介する。 各ケースは、タスク到達可能なペイロードを注入しながら、その命令、設定、初期状態、レーティングモデル、信頼されたレコードを保存する逆の変種と良質なタスクをペアリングする。 ActBenchには213のシナリオから600のケースがあり、15のリスク行動、6つの実行スペース、48のWebサービスAPIにまたがる。静的ペイロードを超えて、攻撃効率とタスクユーティリティを共同で最適化する報酬誘導ビームサーチ手法を提案し、リフレクションは実行チェックポイントの失敗を診断し、ペイロードのリビジョンをガイドする。 さらに,ログエビデンスとLLMに基づく軌道エビデンスを通じてエージェントの実行安全性と実用性を検証する2つのエビデンス検証機構を提案する。 固定ハーネスの下では、攻撃成功率はモデル全体で10.1%から94.4%まで、固定ベースモデルではエージェント間で73.7%から94.4%まで変化しており、これらの結果はエージェントハーネスよりもモデル間で大きな変動を示し、一方、攻撃はテストされたすべてのハーネスで高い成功を収めている。

関連論文リスト

• BenchShield: Formal Model-Backed Instrumentation for Reward Integrity in LLM-Agent Evaluation Infrastructure [47.61632934139226]
  LMエージェントベンチマークは、ますますインタラクティブな評価基盤として機能する。 この対話性は、評価を報酬ハッキングに脆弱にする。 本稿では、報酬整合性のためのモデル支援インスツルメンテーション層であるBenchShieldについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T03:10:58Z)
• EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents [74.54929751174289]
  EvoSafeHarnessは、ターゲットドメイン内の凍結モデルのためのデプロイ可能なハーネスを合成する、安全固有の最適化フレームワークである。 これは平均攻撃成功率を3.3ポイントのユーティリティコストで45.6%から10.0%に下げる。 また、Agent-SafetyBenchでは、すべての犠牲者に対してベストスコアを獲得している。
  論文  参考訳（メタデータ） (2026-09-05T05:56:41Z)
• StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing [80.39644823192113]
  StepGuardは、完了したエージェントの軌跡を監査し、実行前にツールアクションをチェックするステップレベルのガードモデルである。 StepGuardは、GPT-5.4に匹敵するパフォーマンスで、オープンウェイトガードモデルの中で最高の平均精度を達成した。 AgentDojoとAgentDynのエージェントを保護するために使用される場合、StepGuardは平均攻撃成功率を77.3%削減する。
  論文  参考訳（メタデータ） (2026-08-25T16:17:27Z)
• AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation [11.272830796781925]
  8つのモデルバックエンドから60個のSWEベンチ検証タスクの2,614個のOpenHandsトラジェクトリを評価した。 このサブセットで通過する軌道の中で、10.7%はラッキーパスと呼ばれる振る舞いを示す。 本稿では,SWEエージェント軌道のプロセスレベル評価フレームワークであるAgentLensを紹介する。
  論文  参考訳（メタデータ） (2026-05-13T03:00:57Z)
• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• Behavioral Integrity Verification for AI Agent Skills [9.127363793428119]
  我々はこれを行動整合性検証(BIV)問題として定式化する。 OpenClawレジストリの49,943のスキルでは、逸脱分類が広範な記述と実装のギャップを明らかにしている。 906スキルの悪質なスキル検出ベンチマークでは、BIVは0.946のF1に達し、最先端のルールベースとシングルパスのLCMベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-05-12T08:41:09Z)
• SafetyDrift: Predicting When AI Agents Cross the Line Before They Actually Do [0.0]
  SafetyDriftモデルでは、安全軌道をマルコフ連鎖の吸収として扱う。 コミュニケーションタスクでは、軽度のリスク状態にまで達するエージェントは、5段階以内に安全を侵害する確率が85%である。 これらのモデル上に構築されたモニターは94.7%の違反を検知し、3.7ステップの事前警告を無視可能な計算コストで行う。
  論文  参考訳（メタデータ） (2026-03-28T05:52:04Z)
• Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review [6.417595678110472]
  ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。 調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。 調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
  論文  参考訳（メタデータ） (2026-03-19T10:40:27Z)
• ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
  本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。 ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
  論文  参考訳（メタデータ） (2026-01-15T08:23:38Z)
• AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
  大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。 LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。 本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-12-23T08:42:09Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)
• SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
  我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。 SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
  論文  参考訳（メタデータ） (2024-12-17T18:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。