論文の概要: AgentDS Technical Report: Benchmarking the Future of Human-AI Collaboration in Domain-Specific Data Science
- arxiv url: http://arxiv.org/abs/2603.19005v1
- Date: Thu, 19 Mar 2026 15:11:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-20 17:19:06.218984
- Title: AgentDS Technical Report: Benchmarking the Future of Human-AI Collaboration in Domain-Specific Data Science
- Title（参考訳）: AgentDS Technical Report: ドメイン特化データサイエンスにおける人間-AIコラボレーションの将来をベンチマークする
- Authors: An Luo, Jin Du, Xun Xian, Robert Specht, Fangqiao Tian, Ganghua Wang, Xuan Bi, Charles Fleming, Ashish Kundu, Jayanth Srinivasa, Mingyi Hong, Rui Zhang, Tianxi Li, Galin Jones, Jie Ding,
- Abstract要約: 大規模言語モデル(LLM)と人工知能(AI)エージェントの最近の進歩は、データサイエンスのワークフローを大幅に自動化している。
AIエージェントが、ドメイン固有のデータサイエンスタスクにおいて、人間の専門家のパフォーマンスにどの程度適合できるかは、まだ不明である。
我々は、AIエージェントと人間とAIのコラボレーションのパフォーマンスをドメイン固有のデータサイエンスで評価するために設計されたベンチマークとコンペティションであるAgentDSを紹介する。
- 参考スコア（独自算出の注目度）: 30.303936447998314
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data science plays a critical role in transforming complex data into actionable insights across numerous domains. Recent developments in large language models (LLMs) and artificial intelligence (AI) agents have significantly automated data science workflow. However, it remains unclear to what extent AI agents can match the performance of human experts on domain-specific data science tasks, and in which aspects human expertise continues to provide advantages. We introduce AgentDS, a benchmark and competition designed to evaluate both AI agents and human-AI collaboration performance in domain-specific data science. AgentDS consists of 17 challenges across six industries: commerce, food production, healthcare, insurance, manufacturing, and retail banking. We conducted an open competition involving 29 teams and 80 participants, enabling systematic comparison between human-AI collaborative approaches and AI-only baselines. Our results show that current AI agents struggle with domain-specific reasoning. AI-only baselines perform near or below the median of competition participants, while the strongest solutions arise from human-AI collaboration. These findings challenge the narrative of complete automation by AI and underscore the enduring importance of human expertise in data science, while illuminating directions for the next generation of AI. Visit the AgentDS website here: https://agentds.org/ and open source datasets here: https://huggingface.co/datasets/lainmn/AgentDS .
- Abstract（参考訳）: データサイエンスは、複雑なデータを多くの領域にわたって実行可能な洞察に変換する上で重要な役割を担います。
大規模言語モデル(LLM)と人工知能(AI)エージェントの最近の進歩は、データサイエンスのワークフローを大幅に自動化している。
しかし、AIエージェントが、ドメイン固有のデータサイエンスタスクにおける人間の専門家のパフォーマンスにどの程度適合できるか、そして、人間の専門性がどのような面でメリットを提供し続けているかは、まだ不明である。
我々は、AIエージェントと人間とAIのコラボレーションのパフォーマンスをドメイン固有のデータサイエンスで評価するために設計されたベンチマークとコンペティションであるAgentDSを紹介する。
エージェントDSは、商業、食品生産、医療、保険、製造業、小売銀行の6つの産業にまたがる17の課題で構成されている。
私たちは29のチームと80の参加者によるオープンコンペを実施し、人間とAIの協調アプローチとAIのみのベースラインの体系的な比較を可能にしました。
我々の結果は、現在のAIエージェントがドメイン固有の推論に苦労していることを示している。
AIのみのベースラインは、競争参加者のほぼ中央値以下で実行されますが、最も強力なソリューションは、人間とAIのコラボレーションです。
これらの発見は、AIによる完全な自動化の物語に挑戦し、次世代AIの方向性を明らかにしながら、データサイエンスにおける人間の専門知識の持続的重要性を強調している。
AgentDSのWebサイトはこちら。 https://agentds.org/とオープンソースデータセットはこちら。
関連論文リスト
- Understanding Human-AI Collaboration in Cybersecurity Competitions [12.034897605949858]
参加者の認識、信頼、期待が、AI使用の前後でどのように変化するかを研究する。
競争が進むにつれて、チームはAIにより大きなサブタスクを委譲するようになる。
注目すべきは、プロンプトとツールの使用を自己指揮する自律エージェントが、このボトルネックを回避し、ほとんどの人間チームを上回っていることだ。
論文 参考訳（メタデータ） (2026-02-24T01:15:18Z) - Can Agentic AI Match the Performance of Human Data Scientists? [27.236034079837044]
大規模言語モデル(LLM)は、非常に自動化されたデータサイエンスを持つ。
これらのエージェントAIシステムは、人間のデータサイエンティストのパフォーマンスに本当にマッチできるか?
ジェネリック分析ワークフローに依存するエージェントAIは、ドメイン固有の洞察を使用するメソッドに劣っていることを示す。
論文 参考訳（メタデータ） (2025-12-24T05:31:42Z) - What's the next frontier for Data-centric AI? Data Savvy Agents [71.76058707995398]
我々は、エージェントシステムの設計において、データに精通する能力が最優先すべきであると主張している。
本稿では,このビジョンを実現するための4つの重要な機能を提案する。プロアクティブデータ取得,ソフシフィケートデータ処理,インタラクティブテストデータ合成,連続的適応。
論文 参考訳（メタデータ） (2025-11-02T17:09:29Z) - Unexploited Information Value in Human-AI Collaboration [23.353778024330165]
ヒューマンAIチームのパフォーマンスを改善する方法は、各エージェントがどのような情報や戦略を採用しているかを知らなければ、しばしば明確ではない。
本稿では,人間とAIの協調関係を分析するための統計的決定理論に基づくモデルを提案する。
論文 参考訳（メタデータ） (2024-11-03T01:34:45Z) - Why is AI not a Panacea for Data Workers? An Interview Study on Human-AI Collaboration in Data Storytelling [73.14508303965683]
業界と学界の18人のデータワーカーにインタビューして、AIとのコラボレーションの場所と方法を聞いた。
驚いたことに、参加者はAIとのコラボレーションに興奮を見せたが、彼らの多くは反感を表明し、曖昧な理由を指摘した。
論文 参考訳（メタデータ） (2023-04-17T15:30:05Z) - AI for IT Operations (AIOps) on Cloud Platforms: Reviews, Opportunities
and Challenges [60.56413461109281]
IT運用のための人工知能(AIOps)は、AIのパワーとIT運用プロセスが生成するビッグデータを組み合わせることを目的としている。
我々は、IT運用活動が発信する重要なデータの種類、分析における規模と課題、そしてどのように役立つかについて深く議論する。
主要なAIOpsタスクは、インシデント検出、障害予測、根本原因分析、自動アクションに分類します。
論文 参考訳（メタデータ） (2023-04-10T15:38:12Z) - Data-centric Artificial Intelligence: A Survey [47.24049907785989]
近年、AIにおけるデータの役割は大幅に拡大し、データ中心AIという新たな概念が生まれた。
本稿では,データ中心型AIの必要性について論じ,続いて3つの一般的なデータ中心型目標の全体像を考察する。
これは、データライフサイクルのさまざまな段階にわたるタスクのグローバルなビューを提供する、初めての総合的な調査である、と私たちは信じています。
論文 参考訳（メタデータ） (2023-03-17T17:44:56Z) - Data-centric AI: Perspectives and Challenges [51.70828802140165]
データ中心AI(DCAI)は、モデル進歩からデータ品質と信頼性の確保への根本的なシフトを提唱している。
データ開発、推論データ開発、データメンテナンスの3つの一般的なミッションをまとめます。
論文 参考訳（メタデータ） (2023-01-12T05:28:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。