論文の概要: The Silent Failures in Agentic Data Science

• arxiv url: http://arxiv.org/abs/2610.14115v1
• Date: Fri, 09 Oct 2026 08:05:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.011576
• Title: The Silent Failures in Agentic Data Science
• Title（参考訳）: エージェントデータ科学における無秩序な失敗
• Abstract要約: エージェントデータ科学(エージェントDS)の既存の評価は、予測下流性能とコード正確性を評価する。 これらの評価は、方法論的なデータ科学とドメイン知識という、データ科学の基本的な原則を見落としている、と我々は主張する。 エージェントハーネスやモデルキャパシティの複雑さにもかかわらず,エージェントソリューションの大部分は,少なくとも1つの障害モードを含んでいることがわかった。
• 参考スコア（独自算出の注目度）: 7.413998282755709
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models have significantly lowered the barrier to writing code. Naturally, this has also led to the development of data science agents that promise automating the design and execution of data science from task formulation to model development. Existing evaluations of agentic data science (agentic DS) assess downstream predictive performance and code correctness, providing preliminary insight in agentic DS capabilities. We argue that these evaluations overlook the fundamental principles of data science: methodological data science- and domain knowledge. As such, only assessing downstream performance masks methodological failures such as data leakage and inappropriate validation, limiting the development of robust agentic DS systems. In this paper, we evaluate agentic DS beyond accuracy from three different angles: 1) a large-scale analysis of failure modes in common agentic DS frameworks and models across 220 data science tasks, 2) a reusable and extensible test suite with curated data science tasks that test for six specific failures in a controlled manner, and 3) a qualitative assessment of agentic DS pipelines against expert solutions on Kaggle competitions. We find that the majority of agentic solutions contain at least one failure mode despite the complexity of agentic harness or model capacity. Moreover, we identify a positive correlation between the occurrence of data leakage failures and predictive performance, confirming the necessity to evaluate agents beyond accuracy. Our qualitative analysis shows that DS agents generally lack problem solving creativity and domain knowledge, compared to competition-winning data scientists. We believe that principled failure mode analysis, as presented here, should be integral part of agentic DS evaluations, and that the insights we surface will be key in developing trustworthy agentic DS pipelines.
• Abstract（参考訳）: 大規模な言語モデルは、コードを書く際の障壁を著しく減らした。 当然のことながら、タスクの定式化からモデル開発に至るまで、データサイエンスの自動化と実行を約束するデータサイエンスエージェントの開発につながっている。 エージェントデータ科学(エージェントDS)の既存の評価は、下流での予測性能とコードの正確性を評価し、エージェントDS機能に関する予備的な洞察を提供する。 これらの評価は、方法論的なデータ科学とドメイン知識という、データ科学の基本的な原則を見落としている、と我々は主張する。 そのため、ダウンストリーム性能マスクの評価は、データ漏洩や不適切な検証などの方法論上の障害を判断し、堅牢なエージェントDSシステムの開発を制限している。 本稿では,エージェントDSの精度を3つの角度から評価する。 1)220個のデータサイエンスタスクにまたがる共通エージェントDSフレームワークとモデルにおける障害モードの大規模解析を行う。 2)6つの特定の障害を制御された方法でテストする、データサイエンスのキュレーションを施した再利用可能な拡張可能なテストスイート 3) カグル競技における専門家ソリューションに対するエージェントDSパイプラインの質的評価。 エージェントハーネスやモデルキャパシティの複雑さにもかかわらず,エージェントソリューションの大部分は,少なくとも1つの障害モードを含んでいることがわかった。 さらに,データ漏洩故障の発生と予測性能との間に正の相関関係を同定し,精度以上のエージェントを評価する必要があることを確認する。 我々の質的分析によると、DSエージェントには、競争に勝つデータサイエンティストに比べて、問題解決とドメイン知識が欠けている。 ここで述べたように、原則的障害モード分析はエージェントDS評価の不可欠な部分であるべきであり、私たちが表面化する洞察は信頼できるエージェントDSパイプラインを開発する上で重要である、と私たちは信じています。

関連論文リスト

• DISCERN: Can AI Agents Work Like Scientists and Guide Discovery? [54.755189648365565]
  私たちは、自動研究ワークフローの3つの重要なレベルを評価するために、実際に利用可能なデータセットのベンチマークであるdisCERNを紹介します。 エージェントはレベル1の60.8%、レベル2の34.2%、レベル3の評価の0.6%で完璧なスコアを得る。 これらのプロファイルは、科学的な援助を監督する機会を特定するが、現在のエージェントは信頼できる自律的な分析や発見をまだ示していない。
  論文  参考訳（メタデータ） (2026-09-27T08:29:32Z)
• Unsupervised Skill Discovery for Agentic Data Analysis [55.42853694128929]
  DataCOPEは、データ分析エージェントのための教師なし検証対象のスキル発見フレームワークである。 トラジェクトリ生成のためのデータ分析エージェント、信号抽出のための教師なし検証器、および対照的なスキル蒸留のためのスキルマネージャを反復的にコーディネートする。 我々は,Deep Data Researchのレポートスタイル分析とDABStepの推論スタイル解析についてDataCOPEを評価した。
  論文  参考訳（メタデータ） (2026-06-04T17:20:47Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Can Coding Agents Reproduce Findings in Computational Materials Science? [49.254975563645786]
  本稿では,大規模言語モデルの科学的主張を再現する能力を評価するためのベンチマークであるAutoMatを紹介する。 課題を専門とする専門家と緊密に連携することで、実際の材料科学論文からの一連の主張をキュレートし、コーディングエージェントがエンドツーエンドのワークフローを回復し実行できるかどうかを検証します。 結果、現在のLSMベースのエージェントはAutoMatの全体的な成功率を低くし、最も優れた設定は54.1%に過ぎなかった。
  論文  参考訳（メタデータ） (2026-05-01T17:42:12Z)
• Plausible but Wrong: A case study on Agentic Failures in Astrophysical Workflows [10.078675569996992]
  CMBAgentを2つのワークフローパラダイムと18の天体物理タスクで評価した。 One-Shot設定では、ドメイン固有のコンテキストへのアクセスは、およそ6倍のパフォーマンス向上をもたらす。 ディープ・リサーチ・セッティングでは、このシステムはストレステスト全体でサイレント障害をしばしば示し、身体的に矛盾した後部を自己診断なしで生成する。
  論文  参考訳（メタデータ） (2026-04-28T08:01:23Z)
• Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
  プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。 本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。 本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T09:00:30Z)
• Why Do AI Agents Systematically Fail at Cloud Root Cause Analysis? [1.0966260566122241]
  大規模なクラウドシステムの障害は、かなりの財政的損失をもたらします。 大規模言語モデル(LLM)エージェントを活用した根本原因分析(RCA)の自動化 本稿では,LCMをベースとしたRCAエージェントのプロセスレベルの故障解析について述べる。
  論文  参考訳（メタデータ） (2026-02-10T16:14:05Z)
• Identifying Trustworthiness Challenges in Deep Learning Models for Continental-Scale Water Quality Prediction [69.38041171537573]
  水質は環境の持続可能性、生態系の回復力、公衆衛生に基礎を置いている。 ディープラーニングは、大規模な水質予測と科学的洞察生成のための変革的なポテンシャルを提供する。 汚染緩和や資源配分等、高額な運用上の意思決定に広く採用されていることは、未解決の信頼性の課題によって防止されている。
  論文  参考訳（メタデータ） (2025-03-13T01:50:50Z)
• BLADE: Benchmarking Language Model Agents for Data-Driven Science [21.682416167339635]
  プランニング、メモリ、コード実行機能を備えたLMベースのエージェントは、データ駆動科学をサポートする可能性がある。 本稿では,エージェントの多面的アプローチを自動的に評価するベンチマークBLADEについて述べる。
  論文  参考訳（メタデータ） (2024-08-19T02:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。