論文の概要: ClawProBench: Trace-Aware Evaluation of AI Agents with Runtime Coverage and Frozen Workplace-Style Holdouts
- arxiv url: http://arxiv.org/abs/2608.22510v1
- Date: Sun, 23 Aug 2026 17:09:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.781529
- Title: ClawProBench: Trace-Aware Evaluation of AI Agents with Runtime Coverage and Frozen Workplace-Style Holdouts
- Title（参考訳）: ClawProBench: 実行時カバレッジと冷凍作業場所スタイルホールドアウトを備えたAIエージェントのトレースアウェア評価
- Abstract要約: エージェントベンチマークは、エージェントがステートフルランタイム上で実行されている場合でも、最終回答のみを評価することが多い。
OpenClaw上でインスタンス化されたランタイムネイティブエージェント評価のためのトレース対応ベンチマークであるClawProBenchを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent benchmarks often evaluate only final answers even when agents run on stateful runtimes. We argue this under-specifies what is being evaluated: the proper unit is a declared model-plus-runtime configuration whose failures can occur in evidence acquisition, runtime routing, safety boundaries, or repeated execution. We present ClawProBench, a trace-aware benchmark for runtime-native agent evaluation instantiated on OpenClaw, a live agent runtime with workspace tools and native surfaces for browsing, memory, messaging, scheduling, skills, and subagents. ClawProBench defines two tracks: a 102-scenario full profile with live workspace and native-runtime routing tasks, and a frozen 68-scenario holdout with closed-world JSON output contracts for robust ranking. Trials are scored from execution traces via a safety-gated formula combining correctness, process quality, and efficiency, preserving failure evidence for audit. Our anonymous artifact includes benchmark definitions, scoring code, manifests and sanitized traces. We evaluate 68 configurations on the full profile and 37 on holdout. The top safety-gated average trace score is 0.7671. Native-runtime tasks underperform workspace-live tasks (0.5238 vs. 0.6415). On holdout, pass@k-any outperforms strict three-trial pass (0.6638 vs. 0.2890), while full-profile and holdout rankings show weak alignment (Spearman 0.1300). Rankings based purely on correctness differ substantially from process-aware, safety-gated and strict-pass views. Final-answer leaderboards may hide native-surface weaknesses, one-off successes and trace-local agent failure modes.
- Abstract（参考訳）: エージェントベンチマークは、エージェントがステートフルランタイム上で実行されている場合でも、最終回答のみを評価することが多い。
適切なユニットは、エビデンス取得、ランタイムルーティング、安全境界、繰り返し実行で障害が発生する可能性のある、宣言されたモデル+ランタイム構成である。
OpenClawは、ワークスペースツールとブラウジング、メモリ、メッセージング、スケジューリング、スキル、サブエージェントのためのネイティブサーフェスを備えた、ライブエージェントランタイムである。
ClawProBenchは、2つのトラックを定義している。ライブワークスペースとネイティブランタイムルーティングタスクを備えた102-scenarioフルプロファイルと、堅牢なランキングのためのクローズドワールドJSON出力コントラクトを備えた68-scenarioホールドアウトだ。
試験は、安全性、プロセス品質、効率を組み合わせ、監査の失敗の証拠を保存する安全ゲート式を通じて実行トレースから収集される。
匿名のアーティファクトには、ベンチマーク定義、コードの評価、マニフェスト、衛生的なトレースが含まれています。
フルプロファイルでは68のコンフィグレーション,ホールドアウトでは37のコンフィグレーションを評価した。
安全基準の平均トレーススコアは0.7671である。
ネイティブランタイムタスクは、ワークスペースライブタスク(0.5238 vs. 0.6415)を実行する。
ホールドアウトではpass@k-anyが厳格な3つのトライアルパス(0.6638 vs. 0.2890)を上回り、フルマークとホールドアウトランキングはアライメントが弱い(Spearman 0.1300)。
純粋に正確性に基づくランク付けは、プロセス認識、セーフゲート、厳格なパスビューとは大きく異なる。
最終回答のリーダーボードは、ネイティブ表面の弱点、ワンオフの成功、トレースローカルエージェントの障害モードを隠すことができる。
関連論文リスト
- Guardrailed Meta-Agent Loops: Stress-Testing Policy Pinning, Budget Bounds, and Crash Recovery [7.414694666903067]
GuardrailLoopはシミュレーションベースのテストベッドで、3つの運用契約を共同でテスト可能にする。
ハッシュピン付ポリシーは、目標、スコープ、評価アイデンティティ、予算、リリース条件を修正します。
有用な適応、状態回復、反復実行を分離する。
論文 参考訳（メタデータ） (2026-09-10T21:22:08Z) - BenchShield: Formal Model-Backed Instrumentation for Reward Integrity in LLM-Agent Evaluation Infrastructure [47.61632934139226]
LMエージェントベンチマークは、ますますインタラクティブな評価基盤として機能する。
この対話性は、評価を報酬ハッキングに脆弱にする。
本稿では、報酬整合性のためのモデル支援インスツルメンテーション層であるBenchShieldについて述べる。
論文 参考訳（メタデータ） (2026-09-10T03:10:58Z) - AgentAudit: An Open, Extensible Framework for Full-Lifecycle Trust Evaluation of AI Agents [2.8000808592516293]
AgentAuditは10の能力、グラウンド、セキュリティ、振る舞いの次元にわたって、実行トレース全体を評価する。
記録された実行トレースのみを読み出し、エージェントの実行方法に干渉しない。
我々は,9つの言語モデル(OpenAI GPT-5, Claude Sonnet 5, Sarvam 105B, Llama 3.3 70B, Gemini 2.5 Flash)を,9つの能力と対向タスクで評価した。
論文 参考訳（メタデータ） (2026-09-09T08:29:16Z) - Beyond Suspicious Steps: Ontological Trust in Long-Horizon Agents [13.208673657449175]
本稿では,軌道前置詞のタスク条件特性である存在論的信頼を導入し,それを RGE としてインスタンス化する。
RGEはロール、ゴール、エビデンスに沿って信頼を分解する。
我々はOSWorld, FinanceBench, EICU-ACからクロスドメイントラジェクトリコーパスを構築する。
論文 参考訳（メタデータ） (2026-08-18T12:44:43Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - OpenClawBench: Benchmarking Process-side Anomalies in Real-world Agent Execution Trajectories [24.616751291282046]
実エージェント実行プロセスにおけるプロセス側異常の測定と監視のための大規模データセットであるOpenClawBenchを紹介する。
OpenClawBenchは6つのソースモデルによって生成されたBFCL駆動のOpenClawセッションから構築され、31,264の注釈付きトラジェクトリを含んでいる。
FullTaxは、アライメントされた軌跡を、バイナリラベル、エビデンス、オンセット/スパンのローカライゼーション、重度、回復性、および5クラスの異常分類といった構造化された異常管理に変換する。
論文 参考訳（メタデータ） (2026-05-28T02:15:52Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - AgentTrust: Runtime Safety Evaluation and Interception for AI Agent Tool Use [2.9991161518367875]
AgentTrustは実行前にエージェントツールコールをインターセプトし、構造化されたバリデーションを返す。
6つのリスクカテゴリにまたがる300-scenarioベンチマークと、630が独立して構築された現実世界の敵シナリオです。
パッチされたルールセットで評価された630秒のベンチマークでは、AgentTrustは96.7%の精度を達成している。
論文 参考訳（メタデータ） (2026-05-06T11:38:16Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳（メタデータ） (2026-04-30T17:23:19Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。