論文の概要: ComponentBench: Diagnosing Component-Level Failures in Computer-Use Agents
- arxiv url: http://arxiv.org/abs/2608.18307v1
- Date: Tue, 18 Aug 2026 20:38:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.205695
- Title: ComponentBench: Diagnosing Component-Level Failures in Computer-Use Agents
- Title（参考訳）: ComponentBench: コンピュータエージェントにおけるコンポーネントレベル障害の診断
- Abstract要約: 最新のWeb UI上でのコンピュータ利用エージェントのベンチマークと診断パイプラインレベルの評価を行う。
ComponentBenchは2,910としてインスタンス化された97の標準UIコンポーネントのライブラリに依存しない。
観察と行動空間だけを変えることは、同じモデルでタスクの成功を30%以上シフトさせる。
- 参考スコア（独自算出の注目度）: 9.98905103274257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current evaluation of computer-use agents is split between long-horizon workflow benchmarks and atomic GUI-grounding tests. This leaves an under-instrumented middle layer: realistic component-centered interactions (e.g., toggle a button set) that are short enough to diagnose and rich enough to capture the burdens of modern interfaces. We present ComponentBench, a benchmark and diagnostic pipeline for component-level evaluation of computer-use agents on modern web UIs. ComponentBench is organized around a library-agnostic ontology of 97 canonical UI components instantiated as 2,910 programmatically verified tasks across widely used component libraries, paired with cleaned human reference trajectories that enable evaluation of both task success and interaction efficiency. Beyond task collection, we introduce a scalable pipeline for auditing realized structural difficulty after implementation and synthesizing structured failure analyses across tasks and component families. Evaluating seven models -- GPT-5.4, Gemini 3 Flash, GPT-5.4 mini, GPT-5 mini, Gemini 3.1 Flash-Lite, Qwen3-VL-235B, and UI-TARS-1.5-7B -- across four observation and action spaces, we show that these design choices critically impact performance. Within a single shared harness, changing only the observation and action space shifts task success by more than 30% for the same model: GPT-5 mini falls from 83.1% with accessibility-tree observations to 48.9% with coordinate-only Pixel control. Moreover, even the fastest configuration takes 3.7x as long as the matched human reference, and spatial manipulations that are trivial for humans continue to challenge current agents.
- Abstract（参考訳）: コンピュータ利用エージェントの現在の評価は、長期ワークフローベンチマークとアトミックGUIグラウンドテストに分けられる。
現実的なコンポーネント中心のインタラクション(例えば、ボタンセットをトグルするなど)は、近代的なインターフェースの負担を捉えるのに十分な診断と豊かさに十分短いものです。
最新のWeb UI上でのコンピュータ利用エージェントのコンポーネントレベル評価のためのベンチマークおよび診断パイプラインであるComponentBenchを提案する。
ComponentBenchは、97の標準UIコンポーネントのライブラリに依存しないオントロジーに基づいて構成されており、広く使われているコンポーネントライブラリで2,910のプログラムで検証されたタスクとしてインスタンス化されている。
タスクコレクション以外にも,タスクやコンポーネントファミリ間の構造的障害解析の実装と合成によって実現された構造的困難を監査するためのスケーラブルなパイプラインを導入している。
GPT-5.4, Gemini 3 Flash, GPT-5.4 mini, GPT-5 mini, Gemini 3.1 Flash-Lite, Qwen3-VL-235B, UI-TARS-1.5-7B の7つのモデルを4つの観測空間と行動空間で評価し、これらの設計選択が性能に重大な影響を与えることを示した。
GPT-5 miniは、アクセシビリティ・ツリーの観測で83.1%から、座標のみのPixel制御で48.9%に落ちている。
さらに、最も速い構成であっても、一致した人間の参照の3.7倍の時間がかかり、人間にとって自明な空間操作は、現在のエージェントに挑戦し続けている。
関連論文リスト
- Long-Range Indirect Control-Flow Prediction in Stripped Binaries via Dual Virtual Hubs and Multi-Task Graph Learning [44.79384874347874]
本稿では,長い範囲のIDF予測を行う統合フレームワークICFlowNetを提案する。
ICFlowNetは、候補を意識したDual Virtual Hubs、Global Code Hub、Global Data Hubを導入している。
また,パッケージレベルの分割,関数レベルのmnemonic-hash重複,クリーンなテストプロトコルを備えた,リーク対応のノイズ制御パイプラインを開発した。
論文 参考訳（メタデータ） (2026-09-03T02:17:23Z) - Desktop-Delta Bench: Do Computer-Use Models Understand Desktop GUI Transitions? [3.9561795512466413]
現在のベンチマークは、主にエンドタスクの成功または単一フレームグラウンドを測定する。
推論、リモート入力、アプリのレンダリング、スクリーンショットキャプチャが非同期であるため、これは難しい。
オフラインのステップレベルベンチマークであるDesktop-Delta Bench (DDB)を紹介した。
論文 参考訳（メタデータ） (2026-07-28T17:49:51Z) - An Intelligent-Cloud Edge Multimodal Interaction System for Robots [4.1212219465063304]
本稿では,拡張YOLOに基づくジェスチャー検出と,協調型大言語モデル(LLM)と視覚言語モデル(VLM)エージェントを統合したクラウドエッジマルチモーダルインタラクションフレームワークを提案する。
クラウド層はジェスチャー検出、シーン理解、マルチモーダル融合、アクション計画を実行する一方、TonyPiロボットはデータ取得、通信、アクション実行、フィードバックをローカルに処理する。
論文 参考訳（メタデータ） (2026-07-16T07:39:18Z) - OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks [98.07146747892239]
OSWorld 2.0は、日常的および専門的なタスクにまたがる108の長い水平コンピュータ使用のベンチマークである。
各タスクは現実的なエンド・ツー・エンドのワークフローを表しており、人間のユーザーの中央値は1.6時間である。
論文 参考訳（メタデータ） (2026-06-28T17:59:17Z) - Covering Human Action Space for Computer Use: Data Synthesis and Benchmark [59.01879944842542]
コンピュータ利用エージェント(CUA)は、GPT-5.4とClaudeによって説明されているように、画面上での作業を自動化する。
しかし、複雑な低周波相互作用に対する信頼性はまだ貧弱であり、ユーザの信頼を制限している。
複雑な相互作用におけるモデルの能力を評価するための新しいベンチマークCUActSpotを提案する。
論文 参考訳（メタデータ） (2026-05-12T17:59:58Z) - UniToolCall: Unifying Tool-Use Representation, Data, and Evaluation for LLM Agents [22.52508596251479]
構築とデータセット生成から評価に至るまで,パイプライン全体を標準化するツール学習用統合フレームワークであるUniToolCallを提案する。
我々は、7つの公開ベンチマークを、関数呼び出し、ターン、会話のレベルできめ細かい評価を施した、クエリ-Action--Observation-Answer (QAOA) 表現に変換する。
Anchoror-Heavy Hybrid-20では、1ターンのStrict Precisionを93.0%達成し、GPT、Gemini、Claudeといった商用モデルを上回っている。
論文 参考訳（メタデータ） (2026-04-13T14:43:47Z) - SciAgentGym: Benchmarking Multi-Step Scientific Tool-use in LLM Agents [100.12367115920121]
SciGymAgentは4つの自然科学分野にまたがる1,780のドメイン固有ツールを備えたスケーラブルなインタラクティブ環境である。
SciAgentBenchについても紹介する。
論文 参考訳（メタデータ） (2026-02-13T14:58:18Z) - GEBench: Benchmarking Image Generation Models as GUI Environments [49.513441724802135]
GUI生成における動的相互作用と時間的コヒーレンスを評価するためのベンチマークであるGEBenchを紹介する。
GE-Scoreは、ゴール達成、インタラクションロジック、コンテンツ一貫性、UIの可視性、視覚品質を評価する新しい5次元メトリックである。
そこで本研究では,アイコンの解釈,テキストレンダリング,局所化精度を重要なボトルネックとして認識した。
論文 参考訳（メタデータ） (2026-02-09T18:52:02Z) - PinPoint3D: Fine-Grained 3D Part Segmentation from a Few Clicks [37.718136287542556]
PinPoint3Dは、細粒度で多粒度な3Dセグメンテーションのための新しいインタラクティブフレームワークである。
数個のユーザーポイントクリックで正確な部分レベルのマスクを生成する。
私たちの研究は、よりニュアンスで正確なマシン認識とインタラクションに向けた重要なステップを示しています。
論文 参考訳（メタデータ） (2025-09-30T09:05:29Z) - Scaling Computer-Use Grounding via User Interface Decomposition and Synthesis [57.371814877372515]
グラフィカルユーザインタフェース(GUI)の基盤は、コンピュータ利用エージェント開発において依然として重要なボトルネックとなっている。
多様なタスクタイプにまたがる564の細かな注釈付きサンプルからなる総合ベンチマークであるOSWorld-Gを紹介する。
我々は、400万のサンプルを含む、最大のコンピュータ利用基盤データセットであるJediを合成してリリースする。
論文 参考訳（メタデータ） (2025-05-19T15:09:23Z) - Disentangle Your Dense Object Detector [82.22771433419727]
深層学習に基づく高密度物体検出器はここ数年で大きな成功を収め、ビデオ理解などのマルチメディアアプリケーションにも応用されてきた。
しかし、現在の高密度検出器の訓練パイプラインは、保持できない多くの接続に妥協されている。
そこで本研究では, 簡易かつ効果的な遠心分離機構を設計し, 現在の最先端検出器に統合するDED(Disentangled Dense Object Detector)を提案する。
論文 参考訳（メタデータ） (2021-07-07T00:52:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。