論文の概要: Deep Research is the New Analytics System: Towards Building the Runtime for AI-Driven Analytics
- arxiv url: http://arxiv.org/abs/2509.02751v1
- Date: Tue, 02 Sep 2025 18:59:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 21:40:46.310874
- Title: Deep Research is the New Analytics System: Towards Building the Runtime for AI-Driven Analytics
- Title(参考訳): Deep Research - AI駆動分析のランタイム構築を目指す新しい分析システム
- Authors: Matthew Russo, Tim Kraska,
- Abstract要約: 我々は、Deep Researchエージェントが最適化されたセマンティック演算子プログラムを記述および実行できるようにするプロトタイプを構築した。
標準のオープンディープリサーチエージェントと比較して、我々のプロトタイプは最大1.95倍のF1スコアを実現している。
エージェントにセマンティック演算子をツールとしてアクセスしても、プロトタイプは最大76.8%と72.7%のコストとランタイムの節約を達成する。
- 参考スコア(独自算出の注目度): 6.298765290689598
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With advances in large language models (LLMs), researchers are creating new systems that can perform AI-driven analytics over large unstructured datasets. Recent work has explored executing such analytics queries using semantic operators -- a declarative set of AI-powered data transformations with natural language specifications. However, even when optimized, these operators can be expensive to execute on millions of records and their iterator execution semantics make them ill-suited for interactive data analytics tasks. In another line of work, Deep Research systems have demonstrated an ability to answer natural language question(s) over large datasets. These systems use one or more LLM agent(s) to plan their execution, process the dataset(s), and iteratively refine their answer. However, these systems do not explicitly optimize their query plans which can lead to poor plan execution. In order for AI-driven analytics to excel, we need a runtime which combines the optimized execution of semantic operators with the flexibility and more dynamic execution of Deep Research systems. As a first step towards this vision, we build a prototype which enables Deep Research agents to write and execute optimized semantic operator programs. We evaluate our prototype and demonstrate that it can outperform a handcrafted semantic operator program and open Deep Research systems on two basic queries. Compared to a standard open Deep Research agent, our prototype achieves up to 1.95x better F1-score. Furthermore, even if we give the agent access to semantic operators as tools, our prototype still achieves cost and runtime savings of up to 76.8% and 72.7% thanks to its optimized execution.
- Abstract(参考訳): 大規模言語モデル(LLM)の進歩により、研究者たちは、大規模な非構造化データセット上でAI駆動分析を実行することのできる、新たなシステムを構築している。
最近の研究は、自然言語仕様によるAIによるデータ変換の宣言的なセットであるセマンティック演算子を使用して、このような分析クエリの実行について検討している。
しかし、最適化された場合でも、これらのオペレータは数百万のレコード上での実行に費用がかかり、イテレータの実行セマンティクスはインタラクティブなデータ分析タスクに不適である。
別の一連の研究で、Deep Researchシステムは、大規模なデータセットに対して自然言語の質問に答える能力を示した。
これらのシステムは、1つ以上のLLMエージェントを使用して実行を計画し、データセットを処理し、回答を反復的に洗練する。
しかし、これらのシステムはクエリプランを明示的に最適化していないため、プランの実行が貧弱になる可能性がある。
AI駆動分析が優れているためには、セマンティック演算子の最適化された実行と、Deep Researchシステムの柔軟性とよりダイナミックな実行を組み合わせたランタイムが必要です。
このビジョンへの第一歩として、Deep Researchエージェントが最適化されたセマンティック演算プログラムを記述および実行できるようにするプロトタイプを構築した。
筆者らはプロトタイプを評価し,手作りのセマンティック・オペレーター・プログラムとDeep Researchシステムを2つの基本クエリで実現できることを実証した。
標準のオープンディープリサーチエージェントと比較して、我々のプロトタイプは最大1.95倍のF1スコアを実現している。
さらに、エージェントにセマンティック演算子をツールとしてアクセスしても、最適化された実行のおかげで、プロトタイプは最大76.8%と72.7%のコストとランタイムの節約を達成できます。
関連論文リスト
- AgenticData: An Agentic Data Analytics System for Heterogeneous Data [12.67277567222908]
AgenticDataはエージェントデータ分析システムで、複数のドメインにまたがるデータソースを自律的に分析しながら、自然言語(NL)の質問に反応することができる。
本稿では,関連するデータを発見するためのデータプロファイリングエージェント,フィードバックに基づく反復最適化のためのセマンティッククロスバリデーションエージェント,短期文脈を維持するためのスマートメモリエージェントを利用するマルチエージェント協調戦略を提案する。
論文 参考訳(メタデータ) (2025-08-07T03:33:59Z) - Deep Research Agents: A Systematic Examination And Roadmap [109.53237992384872]
Deep Research (DR) エージェントは複雑な多ターン情報研究タスクに取り組むように設計されている。
本稿では,DRエージェントを構成する基礎技術とアーキテクチャコンポーネントの詳細な分析を行う。
論文 参考訳(メタデータ) (2025-06-22T16:52:48Z) - ResearchCodeAgent: An LLM Multi-Agent System for Automated Codification of Research Methodologies [16.90884865239373]
本研究では,研究方法論の体系化を自動化する新しいマルチエージェントシステムであるResearchCodeAgentを紹介する。
このシステムは、ハイレベルな研究概念と実践的な実装のギャップを埋める。
ResearchCodeAgentは、研究実施プロセスに向けた重要なステップであり、機械学習研究のペースを加速する可能性がある。
論文 参考訳(メタデータ) (2025-04-28T07:18:45Z) - Pointwise Mutual Information as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
文脈と問合せの間のポイントワイドな相互情報は,言語モデルの性能向上に有効な指標であることを示す。
本稿では,文書と質問のポイントワイドな相互情報を利用する2つの手法を提案する。
論文 参考訳(メタデータ) (2024-11-12T13:14:09Z) - Data Analysis in the Era of Generative AI [56.44807642944589]
本稿では,AIを活用したデータ分析ツールの可能性について考察する。
我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。
次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
論文 参考訳(メタデータ) (2024-09-27T06:31:03Z) - Semantic Operators: A Declarative Model for Rich, AI-based Data Processing [27.294714926492187]
我々は、宣言型および汎用AIベースの変換のための最初の定式化である意味演算子を紹介する。
セマンティックフィルタリング,ジョイン,グループバイ,トップk操作を最大1000ドルまで高速化する新しい最適化を提案する。
セマンティック・オペレーター・モデルは表現力があり、いくつかのオペレーター・コールで最先端のAIパイプラインをキャプチャする。
論文 参考訳(メタデータ) (2024-07-16T06:19:14Z) - DACO: Towards Application-Driven and Comprehensive Data Analysis via Code Generation [83.30006900263744]
データ分析は、詳細な研究と決定的な洞察を生み出すための重要な分析プロセスである。
LLMのコード生成機能を活用した高品質な応答アノテーションの自動生成を提案する。
我々のDACO-RLアルゴリズムは、57.72%のケースにおいて、SFTモデルよりも有用な回答を生成するために、人間のアノテータによって評価される。
論文 参考訳(メタデータ) (2024-03-04T22:47:58Z) - Can Large Language Models Serve as Data Analysts? A Multi-Agent Assisted
Approach for Qualitative Data Analysis [6.592797748561459]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)における協調的な人間とロボットの相互作用を可能にした
定性的な研究において,新たな拡張性と精度の次元を導入し,SEにおけるデータ解釈手法を変革する可能性がある。
論文 参考訳(メタデータ) (2024-02-02T13:10:46Z) - MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。
各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。
我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
論文 参考訳(メタデータ) (2023-10-05T04:06:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。