論文の概要: Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments

• arxiv url: http://arxiv.org/abs/2606.14397v1
• Date: Fri, 12 Jun 2026 12:32:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.896283
• Title: Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments
• Title（参考訳）: Gauntletの実行: 慣れ親しんだ環境を超えたエージェントの能力の再評価
• Authors: Mykola Vysotskyi, Runqi Lin, Grzegorz Biziel, Michal Zakrzewski, Sebastian Montagna, Damian Rynczak, Shreyansh Padarha, Kumail Alhamoud, Zihao Fu, William Lugoloobi, Kai Rawal, Hanna Yershova, Xander Davies, Taras Rumezhak, Guohao Li, Fazl Barez, Baoyuan Wu, Arkadiusz Drohomirecki, Yarin Gal, Chris Russell, Christopher Summerfield, Adam Mahdi, Volodymyr Karpiv, Philip Torr, Adel Bibi,
• Abstract要約: GauntletBenchは、挑戦的なシナリオでエージェントの一般化を評価するためのWebベースのベンチマークである。 調査されていない5つのプロフェッショナルアプリケーションにわたる3つの機能(時間的知覚、グラフィカルな理解、そして3D推論)に焦点を当てている。 実験結果から,フロンティアエージェントシステムは人間レベルの性能を達成するには程遠いことが判明した。
• 参考スコア（独自算出の注目度）: 67.2234316079859
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As agentic systems continue to evolve and are widely deployed in real-world scenarios, there is a growing demand to faithfully evaluate their capabilities. However, current benchmarks are typically built on popular applications with relatively simple tasks and focus on a narrow set of capabilities while overlooking broader dimensions, resulting in saturated performance on modern agents and failing to probe their limitations. To this end, we introduce GauntletBench, a web-based benchmark for evaluating agent generalisation in challenging scenarios, focusing on three underexplored capabilities (temporal perception, graphical understanding, and 3D reasoning), across five less-covered professional applications (Video Editor, Workflow Builder, 3D Modeller, Flight Analyser, and Circuit Designer), each with 20 vision-intensive tasks (100 in total). Our benchmark provides a modular pipeline that comprises an environment compatible with both open- and closed-source agent frameworks, a controlled web-based application, a well-structured task suite, and an automated evaluation engine with diverse metrics. Contrary to widespread expectations, our empirical results reveal that frontier agentic systems remain far from achieving human-level performance. Even the state-of-the-art agent achieves only a 19.1% success rate on our GauntletBench, highlighting the limitations in these overlooked capabilities and generalisation. By comparison, non-expert human annotators achieve over 80% success on our challenging yet feasible tasks, revealing the substantial gap between current agent capabilities and those required for complex real-world scenarios.
• Abstract（参考訳）: エージェントシステムは進化を続け、現実世界のシナリオに広くデプロイされているため、その能力を忠実に評価する需要が高まっています。 しかしながら、現在のベンチマークは一般的に、比較的単純なタスクを持つ一般的なアプリケーション上に構築され、より広い次元を見渡しながら、限られた機能セットに焦点を合わせ、現代のエージェントに飽和したパフォーマンスをもたらし、それらの制限を調査することができない。 この目的のために、GuntletBenchというウェブベースでエージェントの一般化を挑戦シナリオで評価するベンチマークを導入し、未発見の機能(時間知覚、グラフィカルな理解、そして3D推論)を5つのプロアプリケーション(ビデオエディタ、ワークフロービルダー、3Dモデルラー、フライトアナライザ、サーキットデザイナ)に分けて、20の視覚集約タスク(合計100)に焦点をあてた。 我々のベンチマークでは、オープンソースのエージェントフレームワークとクローズドソースのエージェントフレームワーク、制御されたWebベースアプリケーション、よく構造化されたタスクスイート、さまざまなメトリクスを備えた自動評価エンジンと互換性のある環境を含むモジュールパイプラインを提供しています。 広範な期待とは対照的に、我々の経験的結果は、フロンティアエージェントシステムは人間レベルのパフォーマンスを達成するには程遠いままであることを示している。 最先端のエージェントでさえ、GauntletBenchでわずか19.1%の成功率しか達成せず、見落とされた機能と一般化の限界を強調している。 比較すると、熟練していない人間のアノテータは、難しいが実現不可能なタスクで80%以上の成功を達成し、現在のエージェント能力と複雑な現実世界のシナリオに必要なものの間に大きなギャップが浮かび上がっています。

関連論文リスト

• EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents [17.727481701114556]
  ツール使用エージェントのための対話型マルチモーダルベンチマークであるEgoBenchを紹介する。 我々は3段階の相乗的パイプラインを実装し、各タスクは視覚知覚とツール強化マルチホップ推論の併用を強制的に行うように設計されている。 また,エージェントのインタラクション能力を評価するために,EgoBench内のマルチエージェントシミュレーションユーザを開発した。
  論文  参考訳（メタデータ） (2026-05-27T01:28:15Z)
• SimuWoB: Simulating Real-World Mobile Apps for Fast and Faithful GUI Agent Benchmarking [23.006082521142137]
  SimuWoBは、さまざまなタイプと難易度にまたがる120の課題タスクを備えた、モバイルGUIエージェントのための完全な総合ベンチマークである。 我々は高忠実度タスクと環境を合成する堅牢な仮想環境生成フレームワークを構築した。 我々は、最先端のモバイルGUIエージェントについて包括的な実験を行う。
  論文  参考訳（メタデータ） (2026-05-24T16:33:14Z)
• UltraHorizon: Benchmarking Agent Capabilities in Ultra Long-Horizon Scenarios [63.67884284105684]
  textbfUltraHorizonは、複雑な現実世界の課題に不可欠な基礎的能力を測定する新しいベンチマークである。 エージェントは、隠されたルールを反復的に発見しなければならない、長期にわたる発見タスクで設計されている。 実験の結果, LLM-agents はこれらの設定において常に不利な成績を示し, ヒトは高いスコアを得ることができた。
  論文  参考訳（メタデータ） (2025-09-26T02:04:00Z)
• WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks? [83.19032025950986]
  本稿では,Webブラウザを介してソフトウェアと対話する大規模言語モデルベースエージェントについて検討する。 WorkArenaは、広く使用されているServiceNowプラットフォームに基づく33のタスクのベンチマークである。 BrowserGymは、そのようなエージェントの設計と評価のための環境である。
  論文  参考訳（メタデータ） (2024-03-12T14:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。