論文の概要: DeepAnalyze: Agentic Large Language Models for Autonomous Data Science
- arxiv url: http://arxiv.org/abs/2510.16872v1
- Date: Sun, 19 Oct 2025 15:13:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:39.189719
- Title: DeepAnalyze: Agentic Large Language Models for Autonomous Data Science
- Title(参考訳): DeepAnalyze: 自律データサイエンスのためのエージェント型大規模言語モデル
- Authors: Shaolei Zhang, Ju Fan, Meihao Fan, Guoliang Li, Xiaoyong Du,
- Abstract要約: 我々は、自律データサイエンス用に設計された最初のエージェントであるDeepAnalyze-8Bを紹介する。
本稿では,人間のデータ科学者の学習軌道をエミュレートするカリキュラムに基づくエージェント・トレーニング・パラダイムを提案する。
また、高品質なトレーニングデータを構成するデータ基底軌道合成フレームワークについても紹介する。
- 参考スコア(独自算出の注目度): 35.69385623867138
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous data science, from raw data sources to analyst-grade deep research reports, has been a long-standing challenge, and is now becoming feasible with the emergence of powerful large language models (LLMs). Recent workflow-based data agents have shown promising results on specific data tasks but remain fundamentally limited in achieving fully autonomous data science due to their reliance on predefined workflows. In this paper, we introduce DeepAnalyze-8B, the first agentic LLM designed for autonomous data science, capable of automatically completing the end-toend pipeline from data sources to analyst-grade deep research reports. To tackle high-complexity data science tasks, we propose a curriculum-based agentic training paradigm that emulates the learning trajectory of human data scientists, enabling LLMs to progressively acquire and integrate multiple capabilities in real-world environments. We also introduce a data-grounded trajectory synthesis framework that constructs high-quality training data. Through agentic training, DeepAnalyze learns to perform a broad spectrum of data tasks, ranging from data question answering and specialized analytical tasks to open-ended data research. Experiments demonstrate that, with only 8B parameters, DeepAnalyze outperforms previous workflow-based agents built on most advanced proprietary LLMs. The model, code, and training data of DeepAnalyze are open-sourced, paving the way toward autonomous data science.
- Abstract(参考訳): 生のデータソースからアナリストグレードのディープリサーチレポートまで、自律的なデータサイエンスは長年にわたる課題であり、今や強力な大規模言語モデル(LLM)の出現とともに実現可能になっている。
最近のワークフローベースのデータエージェントは、特定のデータタスクに対して有望な結果を示しているが、事前に定義されたワークフローに依存しているため、完全に自律的なデータサイエンスを達成するには基本的に制限されている。
本稿では,データソースからアナリストグレードのディープリサーチレポートまで,エンドツーエンドのパイプラインを自動的に完了させることができる,自律データサイエンス用に設計された最初のエージェントLLMであるDeepAnalyze-8Bを紹介する。
高複雑性データサイエンスの課題に対処するために,人間のデータ科学者の学習軌道をエミュレートするカリキュラムベースのエージェント・トレーニング・パラダイムを提案する。
また、高品質なトレーニングデータを構成するデータ基底軌道合成フレームワークについても紹介する。
エージェントトレーニングを通じて、DeepAnalyzeは、データ質問応答や専門的な分析タスクから、オープンなデータ研究まで、幅広いデータタスクを実行することを学ぶ。
実験により、DeepAnalyzeは8Bパラメータだけで、ほとんどの高度なプロプライエタリなLLM上に構築されたワークフローベースのエージェントより優れていることが示された。
DeepAnalyzeのモデル、コード、トレーニングデータはオープンソースであり、自律的なデータサイエンスへの道を歩んでいる。
関連論文リスト
- More Data or Better Data? A Critical Analysis of Data Selection and Synthesis for Mathematical Reasoning [47.13636836547429]
我々は,オープンソースのデータセットと数学的推論のためのデータ合成手法を包括的に分析する。
以上の結果から,より解釈可能な形式のデータ構築や,より強力なモデルからの抽出は,単にデータボリュームをスケールアップするよりも優れていることが示唆された。
論文 参考訳(メタデータ) (2025-10-08T16:07:26Z) - Scaling Generalist Data-Analytic Agents [95.05161133349242]
DataMindは、汎用データ分析エージェントを構築するために設計されたスケーラブルなデータ合成およびエージェントトレーニングレシピである。
DataMindは、オープンソースのデータ分析エージェントを構築する上で重要な3つの課題に取り組む。
論文 参考訳(メタデータ) (2025-09-29T17:23:08Z) - TAIJI: MCP-based Multi-Modal Data Analytics on Data Lakes [25.05627023905607]
モデルコンテキストプロトコル(MCP)に基づく新しいマルチモーダルデータ分析システムを提案する。
まず,データレイクにおけるマルチモーダルデータのクエリに適したセマンティック演算子階層を定義する。
次に、MPPベースの実行フレームワークを紹介し、各MPPサーバは、特定のデータモダリティに最適化された特別な基礎モデルをホストする。
論文 参考訳(メタデータ) (2025-05-16T14:03:30Z) - Data Proportion Detection for Optimized Data Management for Large Language Models [32.62631669919273]
我々は,事前学習データの割合の自動推定を可能にする新しいトピック,textitdata proportion Detectionを導入する。
データ比例検出のための厳密な理論的証明、実用的なアルゴリズム、予備実験結果を提供する。
論文 参考訳(メタデータ) (2024-09-26T04:30:32Z) - DSBench: How Far Are Data Science Agents from Becoming Data Science Experts? [58.330879414174476]
現実的なタスクでデータサイエンスエージェントを評価するためのベンチマークであるDSBenchを紹介する。
このベンチマークには、466のデータ分析タスクと、EloquenceとKaggleのコンペからソースされた74のデータモデリングタスクが含まれている。
現状のLLM, LVLM, エージェントを評価したところ, 最高のエージェントはデータ解析タスクの34.12%しか解決できず, RPG(Relative Performance Gap)は34.74%であった。
論文 参考訳(メタデータ) (2024-09-12T02:08:00Z) - DACO: Towards Application-Driven and Comprehensive Data Analysis via Code Generation [83.30006900263744]
データ分析は、詳細な研究と決定的な洞察を生み出すための重要な分析プロセスである。
LLMのコード生成機能を活用した高品質な応答アノテーションの自動生成を提案する。
我々のDACO-RLアルゴリズムは、57.72%のケースにおいて、SFTモデルよりも有用な回答を生成するために、人間のアノテータによって評価される。
論文 参考訳(メタデータ) (2024-03-04T22:47:58Z) - Can Large Language Models Serve as Data Analysts? A Multi-Agent Assisted Approach for Qualitative Data Analysis [4.539569292151314]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)における人間とロボットの協調を可能にする
本研究では,人間の意思決定支援をAIと相乗化して,さまざまな定性的データ分析手法を自動化するLLMベースのマルチエージェントシステムの設計と開発を行う。
論文 参考訳(メタデータ) (2024-02-02T13:10:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。