論文の概要: RealClawBench: Live OpenClaw Benchmarks from Real Developer-Agent Sessions
- arxiv url: http://arxiv.org/abs/2606.03889v1
- Date: Tue, 02 Jun 2026 16:51:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:05.181849
- Title: RealClawBench: Live OpenClaw Benchmarks from Real Developer-Agent Sessions
- Title（参考訳）: RealClawBench: リアル開発者ベースのセッションからOpenClawのベンチマークをライブで公開
- Authors: Zongwei Lv, Zhewen Tan, Yaoming Li, Yilun Yao, Yuxuan Tian, Lin Sun, Xiangzheng Zhang, Weihong Lin, Tong Yang, Guangxiang Zhao,
- Abstract要約: 実際のOpenClawセッションから構築されたベンチマークフレームワークであるRealClawBenchを紹介した。
RealClawBenchは、これらの課題に、再構築された実行環境と決定論的検証可能なスコアラの2つのメカニズムで対処する。
結果として得られたリリースには、はるかに大きなリアルセッションプールからサンプリングされた281の実行可能なタスクが含まれている。
- 参考スコア（独自算出の注目度）: 9.31655300350697
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agent benchmarks should reflect what users actually ask deployed agents to do, yet existing benchmarks often miss key realism properties of real developer-agent sessions. We introduce RealClawBench, a live benchmark framework built from real OpenClaw sessions to capture the distribution, diversity, and real-world difficulty of deployed agent use. Real user requests are challenging to benchmark because they often depend on local execution environments, involve implicit or underspecified intent, and require nontrivial verification. RealClawBench addresses these challenges with two core mechanisms: reconstructed execution environments and deterministic verifiable scorers, which together convert real sessions into reproducible, automatically scored tasks. The resulting release contains 281 executable tasks sampled from a much larger real-session pool while preserving the source distribution, with maximum final-vs-source Jensen-Shannon divergence of 0.0448. Evaluating 14 contemporary models shows that the best system solves only 65.8% of tasks, revealing substantial headroom on realistic developer-agent workloads. By turning real deployed sessions into controlled evaluation instances, RealClawBench provides a practical path toward benchmarks that better measure agent capability in actual use. Code is available at:https://anonymous.4open.science/r/real-claw-bench-582B.
- Abstract（参考訳）: エージェントベンチマークは、ユーザが実際にデプロイされたエージェントに何をするかを反映する必要があるが、既存のベンチマークは、実際の開発者エージェントセッションの重要なリアリズム特性を見逃すことが多い。
実際のOpenClawセッションから構築されたライブベンチマークフレームワークであるRealClawBenchを紹介した。
実際のユーザリクエストは、しばしばローカル実行環境に依存し、暗黙的または未特定の意図を巻き込み、非自明な検証を必要とするため、ベンチマークが難しい。
RealClawBenchは、これらの課題に、再構築された実行環境と決定論的検証可能なスコアラの2つのメカニズムで対処する。
最終的なリリースには、ソースの分布を保ちながら、はるかに大きなリアルセッションプールからサンプリングされた281の実行可能なタスクが含まれており、最終vsソースのJensen-Shannon分散は0.0448である。
14の現代モデルを評価すると、最良のシステムは65.8%のタスクしか解決せず、現実的な開発者エージェントのワークロードにかなりの負担がかかることが分かる。
実際のデプロイセッションを制御された評価インスタンスにすることで、RealClawBenchは実際の使用時のエージェント能力を測定するためのベンチマークへの実践的なパスを提供する。
コードは以下の通り。https://anonymous.4open.science/r/real-claw-bench-582B。
関連論文リスト
- AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions [78.49000936275773]
我々は、一般的な汚職下でのコンピュータ利用エージェントの堅牢性を評価するために設計されたベンチマークであるAgentHijackを紹介する。
MLLMをベースとした各種デスクトップタスクを評価し, 汚職の小さな事例であっても, 大幅な性能劣化が生じることを確認した。
本稿では,動作の要約と環境チェックに責任を負う見物人として,アクションジェネレータと接地機能を統合したフレームワークであるAgent Hijack-Agentを提案する。
論文 参考訳（メタデータ） (2026-05-25T11:09:22Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。
実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
論文 参考訳（メタデータ） (2026-04-20T13:23:38Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - LiveAgentBench: Comprehensive Benchmarking of Agentic Systems Across 104 Real-World Challenges [34.17635007594549]
実ユーザ要求を反映した104のシナリオを備えた総合ベンチマークであるLiveAgentBenchを紹介します。
ソーシャルメディアや現実世界の製品に関する公開の質問から構築されている。
このリリースには374のタスクと125のバリデーション、249のテストが含まれている。
論文 参考訳（メタデータ） (2026-03-03T04:03:05Z) - MobileBench-OL: A Comprehensive Chinese Benchmark for Evaluating Mobile GUI Agents in Real-World Environment [17.207878975582556]
MobileBench-OLは、80の中国アプリから1080タスクのオンラインベンチマークである。
エージェントのタスク実行、複雑な推論、ノイズロバスト性を測定する。
MobileBench-OLは、現実世界の要件を満たすための重要な改善の余地を示している。
論文 参考訳（メタデータ） (2026-01-28T07:49:48Z) - Automated Benchmark Generation for Repository-Level Coding Tasks [7.305342793164905]
SetUpAgentは、歴史的に正確な依存性の設定、テスト実行、結果解析が可能な完全に自動化されたシステムである。
i)SWEE-Benchは数百のリポジトリを含むSWE-Benchの拡張バージョンで、ii)SWA-Benchはライブラリではなくアプリケーションに焦点を当てたベンチマークです。
論文 参考訳（メタデータ） (2025-03-10T17:42:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。