論文の概要: Benchmarks for Trajectory Safety Evaluation and Diagnosis in OpenClaw and Codex: ATBench-Claw and ATBench-CodeX
- arxiv url: http://arxiv.org/abs/2604.14858v1
- Date: Thu, 16 Apr 2026 10:45:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-17 21:29:31.848924
- Title: Benchmarks for Trajectory Safety Evaluation and Diagnosis in OpenClaw and Codex: ATBench-Claw and ATBench-CodeX
- Title（参考訳）: OpenClaw と Codex の軌道安全評価と診断のためのベンチマーク: ATBench-Claw と ATBench-CodeX
- Authors: Zhonghao Yang, Yu Li, Yanxu Zhu, Tianyi Zhou, Yuejin Xie, Haoyu Luo, Jing Shao, Xia Hu, Dongrui Liu,
- Abstract要約: ATBenchは、安全性評価と診断のための多彩で現実的なエージェント軌跡ベンチマークである。
このレポートでは、ATBenchをOpenClawとOpenAI Codex/Codex実行環境に移植する2つのドメインカスタマイズエクステンションであるATBench-ClawとATBench-CodeXを紹介します。
- 参考スコア（独自算出の注目度）: 54.138213405601896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As agent systems move into increasingly diverse execution settings, trajectory-level safety evaluation and diagnosis require benchmarks that evolve with them. ATBench is a diverse and realistic agent trajectory benchmark for safety evaluation and diagnosis. This report presents ATBench-Claw and ATBench-CodeX, two domain-customized extensions that carry ATBench into the OpenClaw and OpenAI Codex / Codex-runtime settings. The key adaptation mechanism is to analyze each new setting, customize the three-dimensional Safety Taxonomy over risk source, failure mode, and real-world harm, and then use that customized taxonomy to define the benchmark specification consumed by the shared ATBench construction pipeline. This extensibility matters because agent frameworks remain relatively stable at the architectural level even as their concrete execution settings, tool ecosystems, and product capabilities evolve quickly. Concretely, ATBench-Claw targets OpenClaw-sensitive execution chains over tools, skills, sessions, and external actions, while ATBench-CodeX targets trajectories in the OpenAI Codex / Codex-runtime setting over repositories, shells, patches, dependencies, approvals, and runtime policy boundaries. Our emphasis therefore falls on taxonomy customization, domain-specific risk coverage, and benchmark design under a shared ATBench generation framework.
- Abstract（参考訳）: エージェントシステムがますます多様な実行設定へと移行するにつれて、軌道レベルの安全性評価と診断には、それらと共に進化するベンチマークが必要である。
ATBenchは、安全性評価と診断のための多彩で現実的なエージェント軌跡ベンチマークである。
このレポートでは、ATBenchをOpenClawとOpenAI Codex/Codex実行環境に移植する2つのドメインカスタマイズエクステンションであるATBench-ClawとATBench-CodeXを紹介します。
主要な適応メカニズムは、それぞれの新しい設定を分析し、リスクソース、障害モード、実世界の危害を3次元の安全分類をカスタマイズし、そのカスタマイズされた分類を使用して、共有ATBench構築パイプラインが消費するベンチマーク仕様を定義することである。
この拡張性は、具体的な実行設定、ツールのエコシステム、製品機能などが急速に進化しても、エージェントフレームワークがアーキテクチャレベルで比較的安定しているため重要です。
具体的には、ATBench-Clawはツール、スキル、セッション、外部アクションよりもOpenClawに敏感な実行チェーンをターゲットにしているが、ATBench-CodeXは、リポジトリ、シェル、パッチ、依存関係、承認、ランタイムポリシー境界に対するOpenAI Codex / Codex-runtime設定のトラジェクトリをターゲットにしている。
そこで我々は,ATBench 生成フレームワークによる分類のカスタマイズ,ドメイン固有のリスクカバレッジ,およびベンチマーク設計に重点を置いている。
関連論文リスト
- ATBench: A Diverse and Realistic Agent Trajectory Benchmark for Safety Evaluation and Diagnosis [96.92417622318267]
ATBenchは、エージェント安全性の構造化、多様性、現実的な評価のための軌道レベルのベンチマークである。
リスクソース、障害モード、現実世界の危害の3つの側面に沿ってエージェント的リスクを編成する。
1000個の軌道(安全503個、安全497個)があり、平均9.01ターンと3.95kトークンがあり、2,084個のツールにまたがるプールから1,954個のツールが呼び出されている。
論文 参考訳（メタデータ） (2026-04-02T13:26:20Z) - AEC-Bench: A Multimodal Benchmark for Agentic Systems in Architecture, Engineering, and Construction [1.1841228164483055]
AEC-Benchは現実世界のタスクにおいてエージェントシステムを評価するためのベンチマークである。
本報告では、ベンチマークモチベーション、データセット分類、評価プロトコル、ベースライン結果について述べる。
論文 参考訳（メタデータ） (2026-03-31T03:10:28Z) - Clawed and Dangerous: Can We Trust Open Agentic Systems? [12.04979073308511]
オープンエージェントシステムは、プランニングを外部機能、永続メモリ、特権実行と組み合わせる。
本稿では,6次元分析分類法を導入し,攻撃,ベンチマーク,防衛,監査,隣接技術基盤にまたがる50の論文を合成する。
文献は攻撃特性とベンチマーク構築において比較的成熟しているが,デプロイメントコントロールや運用管理,永続的メモリの完全性,能力回復には依然として弱いことが,我々のレビューで示されている。
論文 参考訳（メタデータ） (2026-03-27T09:45:12Z) - Symfrog-512: High-Capacity Sponge-Based AEAD Cipher (1024-bit State) [0.0]
この提案には、決定論的テストベクタと再現可能なベンチマークスイートとともに、完全なリファレンス実装が含まれている。
AEADの構築は、ドメイン分離、レートとキャパシティの選択、タグ生成、参照CLIで使用される正確なファイルフォーマットなど、完全に規定されている。
報告されたパフォーマンス数値は、ドキュメンテーションされたハードウェアとコンパイラ設定の下で、組み込みのベンチマークツールによって生成される。
論文 参考訳（メタデータ） (2026-02-19T23:39:54Z) - ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development [72.4729759618632]
本稿では,現実的かつ実行可能なワークフロー内でエージェントバックエンドコーディングを評価するベンチマークであるABC-Benchを紹介する。
オープンソースリポジトリから8つの言語と19のフレームワークにまたがる224の実践的なタスクをキュレートしました。
我々の評価は、最先端モデルでさえ、これらの総合的なタスクに対して信頼性の高いパフォーマンスを提供するのに苦労していることを示している。
論文 参考訳（メタデータ） (2026-01-16T08:23:52Z) - AJAR: Adaptive Jailbreak Architecture for Red-teaming [1.356919241968803]
AJARは概念実証フレームワークであり、"赤チーム"と"アクションセキュリティ"のギャップを埋めるように設計されている。
AJARは実行ループから逆ロジックを分離し、X-Teamingのような最先端のアルゴリズムを標準化されたプラグイン・アンド・プレイサービスとしてカプセル化する。
AJARは、この出現する攻撃面の標準化された環境対応評価を容易にするために、オープンソース化されている。
論文 参考訳（メタデータ） (2026-01-16T03:30:40Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳（メタデータ） (2026-01-15T08:23:38Z) - StriderSPD: Structure-Guided Joint Representation Learning for Binary Security Patch Detection [22.120085662911194]
セキュリティパッチ検出(SPD)は、ソフトウェア資産を保護する。
ほとんどのSPD研究はオープンソースソフトウェア(OSS)をターゲットにしているが、実際のソフトウェアの大部分はクローズドソースである。
グラフブランチを大きな言語モデルに統合するバイナリコードのフレームワークである textbftextitStriderSPD を提案する。
論文 参考訳（メタデータ） (2026-01-09T12:55:29Z) - SeCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [58.29510889419971]
コード生成大型言語モデル(LLM)のセキュリティリスクと能力を評価するための既存のベンチマークは、いくつかの重要な制限に直面している。
手動で検証し、高品質なシード例から始める、汎用的でスケーラブルなベンチマーク構築フレームワークを導入し、ターゲット突然変異を通じて拡張する。
このフレームワークをPython、C/C++、Javaに適用すると、44のCWEベースのリスクカテゴリと3つのセキュリティ機能にまたがる5.9k以上のサンプルデータセットであるSeCodePLTが構築されます。
論文 参考訳（メタデータ） (2024-10-14T21:17:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。