論文の概要: cua-speedrun: Standardized Benchmarking of the Speed of Computer-Use Agents
- arxiv url: http://arxiv.org/abs/2609.40284v1
- Date: Wed, 30 Sep 2026 17:48:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:28.244224
- Title: cua-speedrun: Standardized Benchmarking of the Speed of Computer-Use Agents
- Title（参考訳）: cua-speedrun: コンピュータ利用エージェントの速度ベンチマークの標準化
- Abstract要約: コンピュータ利用エージェント(CUA)は、最近、多くの標準ベンチマークで人的パフォーマンスを上回っている。
Cua-speedrunは標準化されたインフラストラクチャとタスクセットを導入した。
我々は、推論、エージェントハーネス、環境遅延がパフォーマンス、速度、コストにどのように影響するかを評価する。
- 参考スコア（独自算出の注目度）: 76.52915291143013
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computer use agents (CUAs), which use graphical user interfaces (GUIs) to complete tasks on a computer, have recently surpassed human performance on many standard benchmarks, including difficult long-horizon tasks. Their capabilities are undoubtedly impressive, however, a key barrier to the widespread adoption and deployment of CUAs remains their speed and cost. Progress towards faster yet capable CUAs requires reliable evaluation of their speed, but many CUA benchmarks currently face a reproducibility crisis. Benchmarks are based on complex infrastructure with varying machine and container configurations that confound the evaluation of the execution speed of CUAs. Towards addressing this gap, we propose cua-speedrun, which introduces standardized infrastructure and task sets, with a focus on evaluating the speed and efficiency of CUAs. cua-speedrun uses a uniform virtual machine setup and execution pipeline, along with a common agent interface that enables single-agent implementations to operate seamlessly across different benchmarks. Across four different CUA benchmarks, we evaluate how reasoning effort, agent harnesses, and environment latency affect performance, speed, and cost. We find no single model family is optimal for all three; none of the open-weight models are on the frontier, and also, unintuitively, for some models increasing the reasoning effort can speed up task completion, while faster environment input-output can slow down overall task completion time. We also demonstrate that we can effectively reduce the evaluation task set of most CUA benchmarks without degrading overall statistical power, allowing for more efficient benchmarking and comparison. We believe cua-speedrun will enable structured progress towards fast, efficient CUAs, unlocking new real-world use cases and applications. All code, infrastructure, and analysis are available at https://cuaspeedrun.com.
- Abstract（参考訳）: コンピュータ・ユース・エージェント (CUA) はグラフィカル・ユーザー・インタフェース (GUI) を用いてコンピュータ上でのタスクを補完するが、最近、難しい長期タスクを含む多くの標準ベンチマークにおいて、人間のパフォーマンスを上回っている。
しかし、CUAの普及と展開の鍵となる障壁は、そのスピードとコストであることは間違いない。
高速かつ有能なCUAへの進歩は、その速度を信頼性の高い評価を必要とするが、多くのCUAベンチマークは現在再現性危機に直面している。
ベンチマークは、CUAsの実行速度の評価を裏付けるさまざまなマシンとコンテナの構成を備えた複雑なインフラストラクチャに基づいている。
このギャップに対処するために、CUAの速度と効率を評価することに焦点を当て、標準化されたインフラストラクチャとタスクセットを導入したcua-speedrunを提案する。
cua-speedrunは、同じ仮想マシンのセットアップと実行パイプラインと、単一のエージェント実装が異なるベンチマークでシームレスに動作できるようにする共通のエージェントインターフェースを使用する。
4つのCUAベンチマークで、推論、エージェントハーネス、環境遅延がパフォーマンス、速度、コストにどのように影響するかを評価する。
オープンウェイトモデルもフロンティアにはないし、非意図的に、いくつかのモデルでは、推論の努力がタスク完了をスピードアップし、環境のインプットアウトプットは全体のタスク完了時間を短縮することができる。
また,多くのCUAベンチマークの評価タスクを,総合的な統計的パワーを低下させることなく効果的に削減できることを示し,より効率的なベンチマークと比較を可能にした。
cua-speedrunは、高速で効率的なCUAに向けた構造化された進捗を可能にし、新しい現実世界のユースケースやアプリケーションをアンロックできると考えています。
すべてのコード、インフラストラクチャ、分析はhttps://cuaspeedrun.com.comで公開されている。
関連論文リスト
- PERFOPT-Bench: Evaluating Coding Agents on Software Performance Optimization [18.924749191192433]
パフォーマンスの最適化は独特なエージェント的タスクである。
本稿では,このフルパフォーマンス・エンジニアリング・ループを評価するベンチマークであるPERFOPT-Benchを紹介する。
論文 参考訳（メタデータ） (2026-07-08T08:32:18Z) - WeaveBench: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid Interfaces [27.11445886768225]
WeaveBenchは,8つの実世界の作業領域に114のタスクを持つ,長期にわたるハイブリッドインターフェースベンチマークである。
デプロイされたCLIエージェントランタイム内の実際のUbuntuデスクトップ上でこれらのタスクを評価し、最小限のデスクトップコントロールプラグインで拡張します。
フロンティアのモデルと実行時のペアリング全体では、最高のPassRateは41.2%にしか達せず、ベンチマークは飽和状態には程遠い。
論文 参考訳（メタデータ） (2026-06-08T12:39:23Z) - Multi-Agent Computer Use [72.79887808312706]
我々はマルチエージェント・コンピュータ・ユース(MACU)システムの評価・構築に向けて進むべきであると論じる。
本稿では、マネージャモデルがコンピュータ使用タスクを有向非巡回グラフ(DAG)として分解する汎用マルチエージェント構成を提案する。
各イテレーションで、マネージャは並列CUAサブエージェントをディスパッチし、DAGの準備ができているフロンティアでノードを実行する。
論文 参考訳（メタデータ） (2026-06-01T01:29:36Z) - Can Users Specify Driving Speed? Bench2Drive-Speed: Benchmark and Baselines for Desired-Speed Conditioned Autonomous Driving [50.09883181221131]
我々は、所望の高速自動運転のためのメトリクス、データセット、ベースラインを備えたベンチマークであるBench2Drive-Speedを紹介する。
本稿では,ユーザの希望する目標速度とオーバーテイク/フォロー指示の明示的な入力をポリシーモデルに導入する。
実験の結果,正規運転データに基づいてトレーニングされたモデルが,専門家による実演と相容れない性能を示した。
論文 参考訳（メタデータ） (2026-03-26T17:26:41Z) - TaxBreak: Unmasking the Hidden Costs of LLM Inference Through Overhead Decomposition [0.0]
この作業では、ホスト可視のオーケストレーションオーバーヘッドを分解するトレース駆動の方法論であるTaxBreakを紹介している。
NVIDIA H100およびH200システム上でTaxBreakを検証し、提案したホストデバイスバランス指標(HDBI)を導出する。
我々は,MoEモデルが高密度モデルよりも出力トークン当たり8～11倍のカーネルをディスパッチし,ホストバウンドワークロードでは,シングルスレッド性能が1次パラメータであることを示す。
論文 参考訳（メタデータ） (2026-03-12T21:30:07Z) - Exploring Dynamic Transformer for Efficient Object Tracking [58.120191254379854]
効率的なトラッキングのための動的トランスフォーマーフレームワークであるDyTrackを提案する。
DyTrackは、様々な入力に対して適切な推論ルートを設定することを学習し、利用可能な計算予算をより活用する。
複数のベンチマークの実験では、DyTrackは単一のモデルで有望な速度精度のトレードオフを実現している。
論文 参考訳（メタデータ） (2024-03-26T12:31:58Z) - Fast Benchmarking of Asynchronous Multi-Fidelity Optimization on Zero-Cost Benchmarks [40.8406006936244]
我々は、ゼロコストベンチマークで効率的な並列HPOを実現するPythonパッケージを紹介した。
提案手法は,ファイルシステムに格納された情報に基づいて,正確な返却順序を算出する。
私たちのパッケージは pip install mfhpo-simulator でインストールできます。
論文 参考訳（メタデータ） (2024-03-04T09:49:35Z) - MAPLE-Edge: A Runtime Latency Predictor for Edge Devices [80.01591186546793]
汎用ハードウェアの最先端遅延予測器であるMAPLEのエッジデバイス指向拡張であるMAPLE-Edgeを提案する。
MAPLEと比較して、MAPLE-Edgeはより小さなCPUパフォーマンスカウンタを使用して、ランタイムとターゲットデバイスプラットフォームを記述することができる。
また、共通ランタイムを共有するデバイスプール上でトレーニングを行うMAPLEとは異なり、MAPLE-Edgeは実行時に効果的に一般化できることを示す。
論文 参考訳（メタデータ） (2022-04-27T14:00:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。