論文の概要: An Illusion of Progress? Assessing the Current State of Web Agents

• arxiv url: http://arxiv.org/abs/2504.01382v1
• Date: Wed, 02 Apr 2025 05:51:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:25:02.788408
• Title: An Illusion of Progress? Assessing the Current State of Web Agents
• Title（参考訳）: 進歩のイラシオン? Webエージェントの現状と展望
• Authors: Tianci Xue, Weijian Qi, Tianneng Shi, Chan Hee Song, Boyu Gou, Dawn Song, Huan Sun, Yu Su,
• Abstract要約: 我々は,Webエージェントの現状を包括的かつ厳密に評価する。 結果は、現在のエージェントの能力の非常に異なる描写を描いており、以前報告された結果に過度に最適化されていることを示唆している。 オンライン評価ベンチマークであるOnline-Mind2Webを紹介した。
• 参考スコア（独自算出の注目度）: 49.76769323750729
• License:
• Abstract: As digitalization and cloud technologies evolve, the web is becoming increasingly important in the modern society. Autonomous web agents based on large language models (LLMs) hold a great potential in work automation. It is therefore important to accurately measure and monitor the progression of their capabilities. In this work, we conduct a comprehensive and rigorous assessment of the current state of web agents. Our results depict a very different picture of the competency of current agents, suggesting over-optimism in previously reported results. This gap can be attributed to shortcomings in existing benchmarks. We introduce Online-Mind2Web, an online evaluation benchmark consisting of 300 diverse and realistic tasks spanning 136 websites. It enables us to evaluate web agents under a setting that approximates how real users use these agents. To facilitate more scalable evaluation and development, we also develop a novel LLM-as-a-Judge automatic evaluation method and show that it can achieve around 85% agreement with human judgment, substantially higher than existing methods. Finally, we present the first comprehensive comparative analysis of current web agents, highlighting both their strengths and limitations to inspire future research.
• Abstract（参考訳）: デジタル化とクラウド技術が進化するにつれ、ウェブは現代社会においてますます重要になってきています。 大規模言語モデル(LLM)に基づく自動Webエージェントは、作業自動化において大きな可能性を秘めている。 したがって、その能力の進歩を正確に測定し、監視することが重要である。 本研究では,Webエージェントの現状を包括的かつ厳密に評価する。 以上の結果から,既存エージェントの能力は極めて異なっており,これまでに報告された結果の過度な最適化が示唆されている。 このギャップは、既存のベンチマークの欠点に起因する可能性がある。 オンライン評価ベンチマークであるOnline-Mind2Webを紹介した。 これにより、実際のユーザがこれらのエージェントをどのように利用するかを近似した設定でWebエージェントを評価することができる。 よりスケーラブルな評価・開発を容易にするため,新しいLCM-as-a-Judge自動評価手法を開発し,従来の手法よりも約85%高い精度で人的判断に適合できることを示す。 最後に、現在のWebエージェントの総合的な比較分析を行い、今後の研究を刺激する強みと限界を強調した。

関連論文リスト

• The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
  BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。 本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。 大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
  論文  参考訳（メタデータ） (2024-12-06T23:43:59Z)
• AgentOccam: A Simple Yet Strong Baseline for LLM-Based Web Agents [52.13695464678006]
  本研究は, 観察空間と行動空間を簡略化することで, LLMベースのWebエージェントを強化する。 AgentOccam は以前の最先端および同時処理を 9.8 (+29.4%) と 5.9 (+15.8%) で上回っている。
  論文  参考訳（メタデータ） (2024-10-17T17:50:38Z)
• Large Language Models Can Self-Improve At Web Agent Tasks [37.17001438055515]
  大規模言語モデル(LLM)は、ゼロショットまたは少数ショットの方法でエージェントとして新しい環境をナビゲートする機能を最近デモした。 WebArena ベンチマークを用いて,LLM が長期タスクにおけるエージェントとしての性能を自己向上する方法について検討した。 自己改善手順により,WebArenaベンチマークのベースモデルよりもタスク完了率を31%向上させる。
  論文  参考訳（メタデータ） (2024-05-30T17:52:36Z)
• Exploring Autonomous Agents through the Lens of Large Language Models: A Review [0.0]
  大規模言語モデル(LLM)は人工知能を変革し、自律エージェントがさまざまなドメインで多様なタスクを実行できるようにしている。 彼らは多目的性、人的価値のアライメント、幻覚、評価といった課題に直面している。 AgentBench、WebArena、ToolLLMといった評価プラットフォームは、複雑なシナリオでこれらのエージェントを評価する堅牢な方法を提供します。
  論文  参考訳（メタデータ） (2024-04-05T22:59:02Z)
• WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks? [83.19032025950986]
  本稿では,Webブラウザを介してソフトウェアと対話する大規模言語モデルベースエージェントについて検討する。 WorkArenaは、広く使用されているServiceNowプラットフォームに基づく33のタスクのベンチマークである。 BrowserGymは、そのようなエージェントの設計と評価のための環境である。
  論文  参考訳（メタデータ） (2024-03-12T14:58:45Z)
• WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models [65.18602126334716]
  既存のWebエージェントは1つの入力モダリティしか処理せず、単純化されたWebシミュレータや静的なWebスナップショットでのみ評価される。 我々は,WebVoyagerを紹介した。LMM(Large Multimodal Model)を利用したWebエージェントで,現実世界のWebサイトと対話することで,エンド・ツー・エンドでのユーザ指示を完了することができる。 GPT-4(All Tools)とWebVoyager(text-only)の両方のパフォーマンスを大幅に上回る、59.1%のタスク成功率を実現していることを示す。
  論文  参考訳（メタデータ） (2024-01-25T03:33:18Z)
• VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks [93.85005277463802]
  VisualWebArenaは、マルチモーダルWebエージェントのパフォーマンスを現実的なタスクで評価するために設計されたベンチマークである。 このベンチマークを実行するには、イメージテキスト入力を正確に処理し、自然言語命令を解釈し、ユーザが定義した目的を達成するためにウェブサイト上でアクションを実行する必要がある。
  論文  参考訳（メタデータ） (2024-01-24T18:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。