論文の概要: UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks

• arxiv url: http://arxiv.org/abs/2607.08768v1
• Date: Thu, 09 Jul 2026 17:59:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.63083
• Title: UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks
• Title（参考訳）: UniClawBench: 実世界のタスクにおけるプロアクティブエージェントのユニバーサルベンチマーク
• Authors: Zhekai Chen, Chengqi Duan, Kaiyue Sun, Bohao Li, Yuqing Wang, Manyuan Zhang, Xihui Liu,
• Abstract要約: 動的で現実的な設定でプロアクティブエージェントを評価するための最初の能力駆動型ベンチマークであるUniClawBenchを紹介する。 UniClawBenchは、Skill Usage、Exploration、Long-Context Reasoning、Multimodal Understanding、Cross-Platform Coordinationの5つの実行モデル機能を中心に構築されている。 静的で記録された回答に依存する以前のベンチマークとは異なり、我々のベンチマークは、詳細なステップバイステップの完了チェックポイントを使用して、Dockerコンテナ内のエージェントを評価します。
• 参考スコア（独自算出の注目度）: 43.36285223987099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid development of large language models and multimodal large language models has accelerated the emergence of proactive agents capable of operating everyday tools and assisting users in real-world environments. However, existing benchmarks struggle to evaluate such agents effectively, as they often rely on sandboxed environments and single-turn evaluation paradigms. Moreover, their scenario-based task taxonomies mix multiple model capabilities within the same task category, making it difficult to identify the root causes of agent failures. To address these limitations, we introduce UniClawBench, the first capability-driven benchmark designed to evaluate proactive agents in dynamic, real-world settings. UniClawBench is built around five foundational model capabilities: Skill Usage, Exploration, Long-Context Reasoning, Multimodal Understanding, and Cross-Platform Coordination. Based on these capabilities, we design 400 bilingual real-world tasks. Unlike previous benchmarks that rely on static, pre-recorded answers, our benchmark evaluates agents in live Docker containers using fine-grained, step-by-step completion checkpoints. Furthermore, we design a closed-loop evaluation strategy comprising an executor agent, a hidden supervisor agent, and a user agent to simulate realistic multi-turn human feedback without leaking grading criteria. To disentangle base model capabilities from framework-level design choices, we evaluate state-of-the-art models under multiple agent frameworks. Through comprehensive comparisons across both models and frameworks, we show how base model capabilities and agent framework designs jointly shape performance in real-world environments. To facilitate future research, we make our benchmark and code publicly available at https://github.com/HKU-MMLab/UniClawBench.
• Abstract（参考訳）: 大規模言語モデルとマルチモーダル大規模言語モデルの急速な発展により、日常的なツールを運用し、現実世界の環境におけるユーザを支援するプロアクティブエージェントの出現が加速した。 しかし、既存のベンチマークは、サンドボックス環境やシングルターン評価パラダイムに依存することが多いため、そのようなエージェントを効果的に評価するのに苦労している。 さらに、シナリオベースのタスク分類は、同一タスクカテゴリ内で複数のモデル機能を混在させ、エージェント障害の根本原因を特定するのが困難になる。 これらの制限に対処するために、動的で実世界の設定でプロアクティブエージェントを評価するために設計された最初の能力駆動型ベンチマークUniClawBenchを紹介する。 UniClawBenchは、スキル使用、探索、Long-Context Reasoning、Multimodal Understanding、Cross-Platform Coordinationの5つの基本モデル機能を中心に構築されている。 これらの機能に基づいて,400のバイリンガル実世界のタスクを設計する。 静的で記録された回答に依存する以前のベンチマークとは異なり、我々のベンチマークは、詳細なステップバイステップの完了チェックポイントを使用して、Dockerコンテナ内のエージェントを評価します。 さらに,評価基準を漏らさずに現実的なマルチターンフィードバックをシミュレートするために,実行エージェント,隠蔽エージェント,ユーザエージェントからなるクローズドループ評価戦略を設計する。 フレームワークレベルの設計選択からベースモデル機能を切り離すために、複数のエージェントフレームワークの下で最先端のモデルを評価する。 モデルとフレームワークの総合的な比較を通じて、実世界の環境において、ベースモデル機能とエージェントフレームワークが協調してパフォーマンスを形作る方法を示す。 将来の研究を促進するため、ベンチマークとコードをhttps://github.com/HKU-MMLab/UniClawBench.comで公開しています。

関連論文リスト

• Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments [67.2234316079859]
  GauntletBenchは、挑戦的なシナリオでエージェントの一般化を評価するためのWebベースのベンチマークである。 調査されていない5つのプロフェッショナルアプリケーションにわたる3つの機能(時間的知覚、グラフィカルな理解、そして3D推論)に焦点を当てている。 実験結果から,フロンティアエージェントシステムは人間レベルの性能を達成するには程遠いことが判明した。
  論文  参考訳（メタデータ） (2026-06-12T12:32:24Z)
• BenchAgents: Multi-Agent Systems for Structured Benchmark Creation [23.653678381444276]
  BenchAgentsは評価ベンチマークの作成を自動化するフレームワークである。 BenchAgentsを使って、計画、制約満足度、因果推論に関連する機能を評価するベンチマークを作成します。 次に、これらのベンチマークを使用して、最先端のモデルを研究し、共通の障害モードとモデルの違いに関する新たな洞察を抽出します。
  論文  参考訳（メタデータ） (2024-10-29T22:56:18Z)
• CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents [49.68117560675367]
  Crabは、クロス環境タスクをサポートするように設計された最初のベンチマークフレームワークである。 私たちのフレームワークは複数のデバイスをサポートし、Pythonインターフェースで簡単に任意の環境に拡張できます。 実験の結果、GPT-4oの1剤が38.01%の最高完成率を達成することが示された。
  論文  参考訳（メタデータ） (2024-07-01T17:55:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。