論文の概要: Walk Before You Run: The Importance of Data Exploration for Data Analysis Agents

• arxiv url: http://arxiv.org/abs/2608.16045v1
• Date: Mon, 17 Aug 2026 03:19:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.51364
• Title: Walk Before You Run: The Importance of Data Exploration for Data Analysis Agents
• Title（参考訳）: 走る前に歩く: データ分析エージェントのためのデータ探索の重要性
• Abstract要約: 現在のツールやベンチマークでは、このステップは通常暗黙的に残され、ダウンストリームタスクのパフォーマンスとデータセット理解のギャップが生じる。 我々は、より強力なデータ探索サポートによってタスクパフォーマンスが向上するダウンストリーム実験を通して示す。 以上の結果から,強力なLCMとデータ分析エージェントは,たとえスプレッドシートの内容を読み込んだとしても,重要な論理構造を欠いていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 7.140798105546584
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: LLM-based data-analysis tools are increasingly used to help users analyze messy spreadsheets and workbooks, from answering questions over uploaded files to generating code, summaries, and visualizations. These systems are often evaluated by the correctness of their final downstream answers. However, reliable data analysis also depends on an earlier step: understanding what the dataset contains before solving the requested task. For complex workbooks, this Data Exploration step includes identifying the logical tables behind physical sheets, interpreting column semantics, recovering keys and relationships, and detecting quality issues. In current tools and benchmarks, this step is usually left implicit, creating a gap between downstream task performance and the dataset understanding needed for reliable, human-checkable analysis. Our key contribution is to identify this overlooked gap, make Data Exploration a first-class evaluation target, and show through downstream experiments that stronger Data Exploration support improves task performance. To evaluate dataset understanding directly, we introduce two benchmark settings: a real multi-sheet workbook benchmark based on a Vitamin D study dataset, and an extension of DSBench with schema-fixed Data Exploration artifacts. In both settings, systems are evaluated by the quality of a structured artifact capturing tables, columns, semantic roles, relationships, and profiling signals. Our results show that strong LLMs and data-analysis agents still miss important logical structure even when they read spreadsheet content. Furthermore, explicit Data Exploration support often improves downstream correctness, suggesting it should be treated as a first-class, inspectable stage in LLM data-analysis workflows and a natural human-in-the-loop checkpoint where domain experts can review and correct the artifact before downstream analysis proceeds.
• Abstract（参考訳）: LLMベースのデータ分析ツールは、ユーザーが散らかったスプレッドシートやワークブックを分析し、アップロードされたファイル上の質問に答え、コード、要約、視覚化を生成するのに役立つ。 これらのシステムは、しばしば最後の下流の答えの正しさによって評価される。 しかし、信頼できるデータ分析は、要求されたタスクを解決する前にデータセットが何を含んでいるかを理解するという、初期のステップにも依存する。 複雑なワークブックには、物理シートの背後にある論理テーブルの識別、列のセマンティクスの解釈、キーとリレーションの回復、品質問題の検出が含まれる。 現在のツールやベンチマークでは、このステップは通常暗黙的に残され、ダウンストリームタスクのパフォーマンスと、信頼性のある人間チェック可能な分析に必要なデータセット理解の間のギャップを生じさせる。 我々の重要な貢献は、この見過ごされたギャップを特定し、データ探索を第一級の評価対象にし、より強力なデータ探索サポートによってタスクパフォーマンスが向上するダウンストリーム実験を通して示すことです。 データセットの理解を直接評価するために、Vitamin D研究データセットに基づく実際のマルチシートワークブックベンチマークと、スキーマ修正されたデータ探索アーティファクトによるDSBenchの拡張という、2つのベンチマーク設定を導入する。 両方の設定において、システムはテーブル、列、セマンティックロール、リレーション、プロファイリングシグナルをキャプチャする構造化アーティファクトの品質によって評価される。 以上の結果から,強力なLCMとデータ分析エージェントは,たとえスプレッドシートの内容を読み込んだとしても,重要な論理構造を欠いていることが明らかとなった。 さらに、明示的なデータ探索サポートは、ダウンストリームの正確性を改善することが多く、LLMデータ分析ワークフローにおいて第一級で検査可能なステージとして扱われるべきであり、ダウンストリーム分析が進む前にドメインの専門家がアーティファクトをレビューし修正できる自然なヒューマン・イン・ザ・ループ・チェックポイントとして扱われるべきである。

関連論文リスト

• Data Analysis in the Wild: Benchmarking Large Language Models Against Real-World Data Complexities [16.09389994769264]
  我々は,大規模言語モデルを評価するためのベンチマークであるDataGovBenchを紹介する。 最先端のLLMによる総合的な実験では、両方のタスク間で大きなパフォーマンスギャップが示される。 DataGovBenchは、分析クエリの応答とデータからの洞察の発見の両方が可能なLLMの研究を進める上で、困難なベンチマークを提供する。
  論文  参考訳（メタデータ） (2026-07-07T16:43:05Z)
• Unsupervised Skill Discovery for Agentic Data Analysis [55.42853694128929]
  DataCOPEは、データ分析エージェントのための教師なし検証対象のスキル発見フレームワークである。 トラジェクトリ生成のためのデータ分析エージェント、信号抽出のための教師なし検証器、および対照的なスキル蒸留のためのスキルマネージャを反復的にコーディネートする。 我々は,Deep Data Researchのレポートスタイル分析とDABStepの推論スタイル解析についてDataCOPEを評価した。
  論文  参考訳（メタデータ） (2026-06-04T17:20:47Z)
• LLM-Enhanced Semantic Data Integration of Electronic Component Qualifications in the Aerospace Domain [4.161364556213409]
  本稿では,衛星ボード設計における電子部品の資格データの統合と検索の経験について述べる。 我々は、Virtual Knowledge Graphsを使用して、検索を強化し、データのクリーニングにおける手作業を削減するパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-20T16:22:06Z)
• DataCross: A Unified Benchmark and Agent Framework for Cross-Modal Heterogeneous Data Analysis [8.171937411588015]
  我々は、統合された洞察駆動分析のための新しいベンチマークと協調エージェントフレームワークであるDataCrossを紹介する。 DataCrossBenchには、ファイナンス、ヘルスケア、その他のドメインにわたる200のエンドツーエンド分析タスクが含まれている。 また、人間アナリストの「分割合成」ワークフローにインスパイアされたDataCrossAgentフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T08:40:45Z)
• Can LLMs Clean Up Your Mess? A Survey of Application-Ready Data Preparation with LLMs [66.63911043019294]
  データ準備は、生のデータセットを識別し、データセット間の関係を解明し、それらから貴重な洞察を抽出することを目的としている。 本稿では,様々な下流タスクのためのデータ準備にLLM技術を用いることに焦点を当てる。 データクリーニング、標準化、エラー処理、計算、データ統合、データ豊か化という3つの主要なタスクにフィールドを編成するタスク中心の分類を導入します。
  論文  参考訳（メタデータ） (2026-01-22T12:02:45Z)
• LongDA: Benchmarking LLM Agents for Long-Document Data Analysis [55.32211515932351]
  LongDAは、長いドキュメントと複雑なデータをナビゲートする実際の設定をターゲットとしています。 LongTAは、ドキュメントアクセス、検索、コード実行を可能にするツール拡張されたエージェントフレームワークである。 実験の結果, 最先端モデルにおいても, かなりの性能差が認められた。
  論文  参考訳（メタデータ） (2026-01-05T23:23:16Z)
• LLM/Agent-as-Data-Analyst: A Survey [54.08761322298559]
  大規模言語モデル(LLM)とエージェント技術は、データ分析タスクの機能と開発パラダイムに根本的な変化をもたらした。 LLMは複雑なデータ理解、自然言語、意味分析機能、自律パイプラインオーケストレーションを可能にする。
  論文  参考訳（メタデータ） (2025-09-28T17:31:38Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• DCA-Bench: A Benchmark for Dataset Curation Agents [9.60250892491588]
  不完全なドキュメンテーション、不正確なラベル、倫理的懸念、時代遅れの情報といったデータ品質問題は、広く使われているデータセットで共通している。 大きな言語モデル(LLM)の急増する能力により、LLMエージェントによる隠れデータセット問題の発見の合理化が約束されている。 本研究では,この課題に対処するLLMエージェントの能力を評価するためのベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-06-11T14:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。