論文の概要: WebDS: An End-to-End Benchmark for Web-based Data Science

• arxiv url: http://arxiv.org/abs/2508.01222v1
• Date: Sat, 02 Aug 2025 06:39:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.768088
• Title: WebDS: An End-to-End Benchmark for Web-based Data Science
• Title（参考訳）: WebDS: Webベースのデータサイエンスのためのエンドツーエンドベンチマーク
• Authors: Ethan Hsu, Hong Meng Yam, Ines Bouissou, Aaron Murali John, Raj Thota, Josh Koe, Vivek Sarath Putta, G K Dharesan, Alexander Spangher, Shikhar Murty, Tenghao Huang, Christopher D. Manning,
• Abstract要約: WebDSは、Webベースの初のエンドツーエンドデータサイエンスベンチマークである。 29のWebサイトにわたる870のWebベースのデータサイエンスタスクで構成されている。 WebDSは、実用的に有用なLCMベースのデータサイエンスの開発において、大きな進歩の舞台となる。
• 参考スコア（独自算出の注目度）: 59.270670758607494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A large portion of real-world data science tasks are complex and require multi-hop web-based interactions: finding appropriate data available on the internet, synthesizing real-time data of various modalities from different locations, and producing summarized analyses. Existing web benchmarks often focus on simplistic interactions, such as form submissions or e-commerce transactions, and often do not require diverse tool-using capabilities required for web based data science. Conversely, traditional data science benchmarks typically concentrate on static, often textually bound datasets and do not assess end-to-end workflows that encompass data acquisition, cleaning, analysis, and insight generation. In response, we introduce WebDS, the first end-to-end web-based data science benchmark. It comprises 870 web-based data science tasks across 29 diverse websites from structured government data portals to unstructured news media, challenging agents to perform complex, multi-step operations requiring the use of tools and heterogeneous data formats that better reflect the realities of modern data analytics. Evaluations of current SOTA LLM agents indicate significant performance gaps in accomplishing these tasks. For instance, Browser Use, which accomplishes 80% of tasks on Web Voyager, successfully completes only 15% of tasks in WebDS, which our analysis suggests is due to new failure modes like poor information grounding, repetitive behavior and shortcut-taking that agents performing WebDS' tasks display. By providing a more robust and realistic testing ground, WebDS sets the stage for significant advances in the development of practically useful LLM-based data science.
• Abstract（参考訳）: 実世界のデータサイエンスタスクの大部分は複雑で、インターネット上で利用可能な適切なデータを見つけ、異なる場所から様々なモダリティのリアルタイムデータを合成し、要約した分析を行うマルチホップWebベースのインタラクションを必要とする。 既存のWebベンチマークでは、フォームの提出やeコマーストランザクションといった単純なインタラクションに重点を置いていることが多く、Webベースのデータサイエンスに必要な多様なツールを使用する機能を必要としないことが多い。 逆に、従来のデータサイエンスベンチマークは、静的で、しばしばテキストで束縛されたデータセットに集中し、データ取得、クリーニング、分析、洞察生成を含むエンドツーエンドのワークフローを評価しない。 これに対し、WebDSは、Webベースの初のエンドツーエンドデータサイエンスベンチマークである。 組織化された政府データポータルから構造化されていないニュースメディアまで、29のウェブサイトにまたがる870のWebベースのデータサイエンスタスクで構成されている。 現在のSOTA LLMエージェントの評価は、これらのタスクを遂行する上で、大きなパフォーマンスギャップがあることを示唆している。 例えば、Web Voyager上のタスクの80%を達成しているブラウザ利用は、WebDSのタスクの15%しか完了していない。 より堅牢で現実的なテスト基盤を提供することにより、WebDSは、実用的に有用なLCMベースのデータサイエンスの開発において、大きな進歩の舞台を整えている。

関連論文リスト

• WebShaper: Agentically Data Synthesizing via Information-Seeking Formalization [68.46693401421923]
  WebShaperは集合論を通してISタスクを体系的に定式化する。 WebShaperは、GAIAおよびWebWalkerQAベンチマーク上で、オープンソースISエージェントの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-07-20T17:53:37Z)
• ReGUIDE: Data Efficient GUI Grounding via Spatial Reasoning and Search [53.40810298627443]
  ReGUIDEは、MLLMが自己生成的推論と空間認識的批判を通じてデータを効率的に学習することを可能にするWebグラウンドのためのフレームワークである。 実験により、ReGUIDEは複数のベンチマークでWebグラウンド性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-05-21T08:36:18Z)
• TAIJI: MCP-based Multi-Modal Data Analytics on Data Lakes [25.05627023905607]
  モデルコンテキストプロトコル(MCP)に基づく新しいマルチモーダルデータ分析システムを提案する。 まず,データレイクにおけるマルチモーダルデータのクエリに適したセマンティック演算子階層を定義する。 次に、MPPベースの実行フレームワークを紹介し、各MPPサーバは、特定のデータモダリティに最適化された特別な基礎モデルをホストする。
  論文  参考訳（メタデータ） (2025-05-16T14:03:30Z)
• DatawiseAgent: A Notebook-Centric LLM Agent Framework for Automated Data Science [4.1431677219677185]
  DatawiseAgentはノートブック中心のエージェントフレームワークで、ユーザ、エージェント、計算環境間のインタラクションを統合する。 DSFライクな計画、インクリメンタルな実行、自己老化、ポストフィルタの4つのステージを編成する。 一貫して、複数のモデル設定で最先端のメソッドを上回るか、マッチする。
  論文  参考訳（メタデータ） (2025-03-10T08:32:33Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• AgentOccam: A Simple Yet Strong Baseline for LLM-Based Web Agents [52.13695464678006]
  本研究は, 観察空間と行動空間を簡略化することで, LLMベースのWebエージェントを強化する。 AgentOccam は以前の最先端および同時処理を 9.8 (+29.4%) と 5.9 (+15.8%) で上回っている。
  論文  参考訳（メタデータ） (2024-10-17T17:50:38Z)
• DSBench: How Far Are Data Science Agents from Becoming Data Science Experts? [58.330879414174476]
  現実的なタスクでデータサイエンスエージェントを評価するためのベンチマークであるDSBenchを紹介する。 このベンチマークには、466のデータ分析タスクと、EloquenceとKaggleのコンペからソースされた74のデータモデリングタスクが含まれている。 現状のLLM, LVLM, エージェントを評価したところ, 最高のエージェントはデータ解析タスクの34.12%しか解決できず, RPG(Relative Performance Gap)は34.74%であった。
  論文  参考訳（メタデータ） (2024-09-12T02:08:00Z)
• CMDBench: A Benchmark for Coarse-to-fine Multimodal Data Discovery in Compound AI Systems [10.71630696651595]
  知識集約的なタスクを達成するエージェントとしてLLMを使用する複合AIシステム(CAS)は、データベースやAIコミュニティにおいて大きな関心を集めている。 マルチモーダルデータソースのサイロは、そのタスクを達成するための適切なデータソースを特定するのを困難にしている。 我々はエンタープライズデータプラットフォームの複雑さをモデル化したベンチマークであるCMDBenchを提案する。
  論文  参考訳（メタデータ） (2024-06-02T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。