論文の概要: Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos

• arxiv url: http://arxiv.org/abs/2603.22529v1
• Date: Mon, 23 Mar 2026 19:47:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.175072
• Title: Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos
• Title（参考訳）: Ego2Web: ビデオ中心のWebエージェントベンチマーク
• Authors: Shoubin Yu, Lei Shu, Antoine Yang, Yao Fu, Srinivas Sunkara, Maria Wang, Jindong Chen, Mohit Bansal, Boqing Gong,
• Abstract要約: Ego2Webは、エゴセントリックなビデオ認識とWebエージェントの実行を橋渡しするために設計された最初のベンチマークである。 オンライン環境での視覚的理解、Webタスク計画、インタラクションを必要とするWebタスクと、現実世界のファースト・パーソン・ビデオ録画を組み合わせます。 自動データ生成パイプラインと人間の検証と改良を組み合わせて、よく構築された高品質なビデオタスクペアをキュレートする。
• 参考スコア（独自算出の注目度）: 74.78784171851984
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal AI agents are increasingly automating complex real-world workflows that involve online web execution. However, current web-agent benchmarks suffer from a critical limitation: they focus entirely on web-based interaction and perception, lacking grounding in the user's real-world physical surroundings. This limitation prevents evaluation in crucial scenarios, such as when an agent must use egocentric visual perception (e.g., via AR glasses) to recognize an object in the user's surroundings and then complete a related task online. To address this gap, we introduce Ego2Web, the first benchmark designed to bridge egocentric video perception and web agent execution. Ego2Web pairs real-world first-person video recordings with web tasks that require visual understanding, web task planning, and interaction in an online environment for successful completion. We utilize an automatic data-generation pipeline combined with human verification and refinement to curate well-constructed, high-quality video-task pairs across diverse web task types, including e-commerce, media retrieval, knowledge lookup, etc. To facilitate accurate and scalable evaluation for our benchmark, we also develop a novel LLM-as-a-Judge automatic evaluation method, Ego2WebJudge, which achieves approximately 84% agreement with human judgment, substantially higher than existing evaluation methods. Experiments with diverse SoTA agents on our Ego2Web show that their performance is weak, with substantial headroom across all task categories. We also conduct a comprehensive ablation study on task design, highlighting the necessity of accurate video understanding in the proposed task and the limitations of current agents. We hope Ego2Web can be a critical new resource for developing truly capable AI assistants that can seamlessly see, understand, and act across the physical and digital worlds.
• Abstract（参考訳）: マルチモーダルAIエージェントは、オンラインWeb実行を含む複雑な現実世界のワークフローをますます自動化している。 しかし、現在のWebエージェントベンチマークは、Webベースのインタラクションと知覚に完全に焦点を合わせており、ユーザの現実世界の物理的環境の基盤を欠いている、という重大な制限に悩まされている。 この制限は、エージェントがエゴセントリックな視覚的知覚(例えばARメガネ)を使用してユーザーの周囲の物体を認識し、オンラインで関連するタスクを完了しなければならない場合など、重要なシナリオにおける評価を妨げる。 このギャップに対処するために、エゴセントリックなビデオ認識とWebエージェントの実行を橋渡しする最初のベンチマークであるEgo2Webを紹介します。 Ego2Webは、視覚的理解、Webタスク計画、およびオンライン環境でのインタラクションを必要とするWebタスクと、現実のファースト・パーソン・ビデオ・レコーディングをペアリングして、完了を成功させる。 我々は,eコマース,メディア検索,ナレッジルックアップなど,さまざまなWebタスクタイプにまたがる,よく構築された高品質なビデオタスクペアをキュレートするために,人間の検証と洗練を併用した自動データ生成パイプラインを利用する。 また,本ベンチマークの精度と拡張性を向上させるため,従来の評価手法よりもかなり高い約84%の人的判断を達成できる新しいLCM-as-a-Judge自動評価手法であるEgo2WebJudgeを開発した。 Ego2Web上の多様なSoTAエージェントによる実験は、そのパフォーマンスが弱く、すべてのタスクカテゴリに実質的なヘッドルームがあることを示しています。 また,タスク設計に関する包括的アブレーション研究を行い,提案課題における正確な映像理解の必要性と現行エージェントの限界を強調した。 Ego2Webは、物理的およびデジタルの世界をシームレスに見たり、理解したり、行動したりできる、真に有能なAIアシスタントを開発するための重要な新しいリソースになることを期待している。

関連論文リスト

• Embodied Web Agents: Bridging Physical-Digital Realms for Integrated Agent Intelligence [109.32705135051486]
  Embodied Web Agentsは、エンボディメントとWebスケール推論を流動的にブリッジする、AIエージェントのための新しいパラダイムである。 多様なタスクスイートを含むEmbodied Web Agents Benchmarkをリリースする。 その結果、最先端のAIシステムと人間の能力の間には、大きなパフォーマンスのギャップが浮かび上がっている。
  論文  参考訳（メタデータ） (2025-06-18T17:58:17Z)
• An Illusion of Progress? Assessing the Current State of Web Agents [61.742657650092845]
  我々は,Webエージェントの現状を包括的かつ厳密に評価する。 結果は、現在のエージェントの能力の非常に異なる描写を描いており、以前報告された結果に過度に最適化されていることを示唆している。 オンライン評価ベンチマークであるOnline-Mind2Webを紹介した。
  論文  参考訳（メタデータ） (2025-04-02T05:51:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。