論文の概要: WARC-Bench: Web Archive Based Benchmark for GUI Subtask Executions
- arxiv url: http://arxiv.org/abs/2510.09872v1
- Date: Fri, 10 Oct 2025 21:20:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 18:06:29.659443
- Title: WARC-Bench: Web Archive Based Benchmark for GUI Subtask Executions
- Title（参考訳）: WARC-Bench: GUIサブタスク実行のためのWebアーカイブベースのベンチマーク
- Abstract要約: 複雑な現実世界のWebサイトをナビゲートするためにWebエージェントを訓練するには、$itsubtasks$をマスターする必要がある。
WARC-Benchは、サブタスク上でマルチモーダルAIエージェントを評価するように設計された438のタスクを特徴とする、新しいWebナビゲーションベンチマークである。
我々は、WARC-Benchが64.8%という最も高い成功率を持つコンピュータ使用モデルの先導に挑戦していることを示す。
- 参考スコア（独自算出の注目度）: 14.49822563708463
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training web agents to navigate complex, real-world websites requires them to master $\textit{subtasks}$ - short-horizon interactions on multiple UI components (e.g., choosing the correct date in a date picker, or scrolling in a container to extract information). We introduce WARC-Bench (Web Archive Benchmark), a novel web navigation benchmark featuring 438 tasks designed to evaluate multimodal AI agents on subtasks. WARC-Bench enables sandboxed interactions with dynamic and realistic webpages using Web ARChive files. We show that WARC-Bench is challenging for leading computer-use models, with the highest observed success rate being 64.8%. To improve open source models on subtask, we explore two common training techniques: supervised fine-tuning (SFT) and reinforcement learning with verifiable rewards (RLVR). Experiments show that SFT models obtain a 48.8% success rate on the benchmark. Training with RLVR over SFT checkpoints, even in data-scarce settings, improves the score to 52.8% on WARC-Bench, outperforming many frontier models. Our analysis concludes that mastering these subtasks is essential for robust web planning and navigation, and is a capability not extensively evaluated by existing benchmarks.
- Abstract（参考訳）: 複雑な現実世界のWebサイトをナビゲートするために、Webエージェントを訓練するには、複数のUIコンポーネント(例えば、日付ピッカーで正しい日付を選択したり、情報を抽出するためにコンテナでスクロールするなど)で、$\textit{subtasks}$-短水平インタラクションをマスターする必要がある。
WARC-Bench(Web Archive Benchmark)は,サブタスク上でマルチモーダルAIエージェントを評価するために設計された438のタスクを特徴とする,新しいWebナビゲーションベンチマークである。
WARC-Benchは、Web ARChiveファイルを使用して、動的で現実的なWebページとのサンドボックスインタラクションを可能にする。
我々は、WARC-Benchが64.8%という最も高い成功率を持つコンピュータ使用モデルの先導に挑戦していることを示す。
サブタスクのオープンソースモデルを改善するために,教師付き微調整(SFT)と,検証可能な報酬(RLVR)を用いた強化学習という,2つの一般的なトレーニング手法を検討する。
実験の結果、SFTモデルはベンチマークで48.8%の成功率を得ることがわかった。
SFTチェックポイント上でのRLVRトレーニングは、データスカース設定でも、WARC-Benchのスコアを52.8%改善し、多くのフロンティアモデルを上回っている。
分析の結果、これらのサブタスクをマスターすることは、堅牢なWeb計画とナビゲーションに不可欠であり、既存のベンチマークでは広く評価されない能力であることがわかった。
関連論文リスト
- Wuying-Browser-Agent: Real-World Centric Fundamental Long-Horizon Browser Agents [34.59625581903402]
Wuying-Browser-Agentは、実行、監督、最適化、評価を扱う統一されたフレームワークである。
構造化ブラウザハーネスは、安定した実行プリミティブと決定指向のコンテキスト管理を提供する。
BrowserBenchは平均37.9ステップの350タスクのベンチマークである。
論文 参考訳（メタデータ） (2026-08-18T03:23:31Z) - UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations [68.29650478987561]
UI-Mateは、環境に根ざしたトレーニングスタックとコンテキスト内の実演学習を統合する基盤GUIエージェントである。
OSWorldでは77.0%、WindowsAgentArenaでは66.2%と評価された。
論文 参考訳（メタデータ） (2026-08-16T20:59:59Z) - SCALECUA: Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL [38.05711358650287]
コンピュータ利用エージェント(CUA)は、視覚認識とGUI実行を通じて複雑なデジタルを自動化する強力なインターフェースとして登場しつつある。
検証可能な報酬(RLVR)を備えたオンライン強化学習は、その能力をスケールアップするための重要な方向として現れている。
検証可能なタスク合成と効率的なトレーニングを通じてCUAのオンラインRLをスケールする統合フレームワークであるScaleCUAを紹介する。
論文 参考訳（メタデータ） (2026-07-13T07:32:35Z) - FastContext: Training Efficient Repository Explorer for Coding Agents [29.359764163872473]
大規模言語モデル(LLM)コーディングエージェントは、ソフトウェアエンジニアリングタスクにおいて大きな成果を上げている。
関連するコードを見つけることは、相当量のトークン予算を消費し、関係のないスニペットでエージェントのコンテキストを汚染する。
我々は、リポジトリの探索と解決を分離する専用の探索サブエージェントであるFastContextを紹介します。
論文 参考訳（メタデータ） (2026-06-12T03:23:59Z) - MTA-Agent: An Open Recipe for Multimodal Deep Search Agents [51.180338423927985]
MLLM(Multi-hop large language model)は、視覚的理解において強力な能力を示しているが、複雑な多段階推論において制限されている。
証拠ベースQA合成のためのマルチホップツール拡張エージェント(MTA-Agent)を提案する。
MTA-Agentは、視覚的およびテキストソースから証拠を検索し、検証するためのツールとそのパラメータを自動的に選択する。
論文 参考訳（メタデータ） (2026-04-07T19:01:45Z) - VisBrowse-Bench: Benchmarking Visual-Native Search for Multimodal Browsing Agents [27.574370658412864]
視覚ネイティブ検索のための新しいベンチマークVisBrowse-Benchを紹介した。
複数のドメインをカバーする169のVQAインスタンスを含んでいる。
探索過程におけるモデルの視覚的推論能力を評価する。
論文 参考訳（メタデータ） (2026-03-17T09:24:13Z) - ARC: Compiling Hundreds of Requirement Scenarios into A Runnable Web System [10.49539144799249]
Agentic Requirement Compilation (ARC)は、単純なコード生成から要件コンパイルへ移行するテクニックである。
ARCはソースコードだけでなく、UI、API、データベース層のためのモジュラーデザインも生成する。
21人の参加者によるユーザスタディでは、初心者のユーザが複雑なシステムのためにDSL文書を書けることが示されている。
論文 参考訳（メタデータ） (2026-02-14T11:07:58Z) - AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents [49.67355440164857]
AIRS-Benchは、最先端の機械学習論文から得られた20のタスクからなるスイートである。
Airs-Benchタスクは、研究ライフサイクル全体のエージェント能力を評価する。
本稿では,AIRS-Benchタスク定義と評価コードをオープンソースとして公開し,自律科学研究のさらなる発展を促す。
論文 参考訳（メタデータ） (2026-02-06T16:45:02Z) - AUTO-Explorer: Automated Data Collection for GUI Agent [58.58097564914626]
本稿では,アノテーションコストを最小限に抑えた自動データ収集手法であるAuto-Explorerを提案する。
それは、GUI環境を自律的に解析し探索する、シンプルだが効果的な探索メカニズムを組み込んでいる。
収集したデータを用いて,マルチモーダル大規模言語モデル(MLLM)を微調整し,GUI要素基盤テストセットを確立する。
論文 参考訳（メタデータ） (2025-11-09T15:13:45Z) - WebExplorer: Explore and Evolve for Training Long-Horizon Web Agents [57.203515352080295]
本稿では,モデルに基づく探索と反復的,長短のクエリ進化を用いた体系的データ生成手法であるWebExplorerを紹介する。
我々のモデルは、128Kのコンテキスト長と最大100のツール呼び出しスイッチをサポートし、長期の問題解決を可能にします。
8Bサイズのモデルとして、WebExplorer-8Bは、RLトレーニング後の平均16ターンを効果的に探索することができる。
論文 参考訳（メタデータ） (2025-09-08T10:07:03Z) - WebSight: A Vision-First Architecture for Robust Web Agents [0.0]
WebSightは視覚的知覚によって純粋にWeb環境と対話するように設計された視覚ベースのWebエージェントである。
UI要素のインタラクションに最適化された視覚言語モデルであるWebSight-7Bを紹介する。
WebSight-7BはShowdown Clicksベンチマークで58.84%のトップ1の精度を達成し、より大規模なジェネラリストモデルを上回った。
WebSightとWebSight-7Bは、解釈可能で堅牢で効率的なビジュアルWebナビゲーションのための新しい標準を確立する。
論文 参考訳（メタデータ） (2025-08-23T11:02:59Z) - DeepDiver: Adaptive Search Intensity Scaling via Open-Web Reinforcement Learning [73.68685269970844]
WebPuzzleはトレーニングと275サンプルテストベンチマークで、ライブインターネット上での情報検索を評価する。
我々は、検索強度スケーリング(SIS)を育成する強化学習フレームワークであるDeepDiverを開発した。
我々は,DeepDiverのカリキュラムをコールドスタートSFTからよく設計されたRLプロシージャに詳述し,その探索方針がクローズドドクエリからロングフォームライティングなどのオープンエンドジェネレーションへと一般化したことを示す。
論文 参考訳（メタデータ） (2025-05-30T08:15:39Z) - VisualWebInstruct: Scaling up Multimodal Instruction Data through Web Search [42.560419395815146]
視覚言語モデルは多くの知覚に焦点を当てたタスクにおいて大きな進歩を遂げた。
しかし、高品質で多様なトレーニングデータがないため、推論に焦点を絞ったタスクの進歩は依然として限られている。
複数の分野にまたがる多種多様な高品質なデータセットを作成するために、VisualWebInstructを提案する。
論文 参考訳（メタデータ） (2025-03-13T17:32:48Z) - DSBench: How Far Are Data Science Agents from Becoming Data Science Experts? [58.330879414174476]
現実的なタスクでデータサイエンスエージェントを評価するためのベンチマークであるDSBenchを紹介する。
このベンチマークには、466のデータ分析タスクと、EloquenceとKaggleのコンペからソースされた74のデータモデリングタスクが含まれている。
現状のLLM, LVLM, エージェントを評価したところ, 最高のエージェントはデータ解析タスクの34.12%しか解決できず, RPG(Relative Performance Gap)は34.74%であった。
論文 参考訳（メタデータ） (2024-09-12T02:08:00Z) - PLANRL: A Motion Planning and Imitation Learning Framework to Bootstrap Reinforcement Learning [13.564676246832544]
PLANRLは、ロボットがいつ古典的な動き計画を使うべきか、いつポリシーを学ぶべきかを選択するためのフレームワークである。
PLANRLは2つの操作モードを切り替える: オブジェクトから離れたときに古典的なテクニックを使ってウェイポイントに到達し、オブジェクトと対話しようとするときに細かい操作制御を行う。
我々は,複数の課題のあるシミュレーション環境と実世界のタスクにまたがってアプローチを評価し,既存手法と比較して適応性,効率,一般化の点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-08-07T19:30:08Z) - DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。
我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。
私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文 参考訳（メタデータ） (2024-07-01T18:58:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。