論文の概要: Data Interpreter: An LLM Agent For Data Science
- arxiv url: http://arxiv.org/abs/2402.18679v4
- Date: Tue, 15 Oct 2024 15:52:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 13:59:16.049507
- Title: Data Interpreter: An LLM Agent For Data Science
- Title(参考訳): Data Interpreter: データサイエンスのためのLLMエージェント
- Authors: Sirui Hong, Yizhang Lin, Bang Liu, Bangbang Liu, Binhao Wu, Ceyao Zhang, Chenxing Wei, Danyang Li, Jiaqi Chen, Jiayi Zhang, Jinlin Wang, Li Zhang, Lingyao Zhang, Min Yang, Mingchen Zhuge, Taicheng Guo, Tuo Zhou, Wei Tao, Xiangru Tang, Xiangtao Lu, Xiawu Zheng, Xinbing Liang, Yaying Fei, Yuheng Cheng, Zhibin Gou, Zongze Xu, Chenglin Wu,
- Abstract要約: LLM(Large Language Model)ベースのエージェントは多くのアプリケーションで有効性を示している。
しかし、長期的な相互接続タスク、動的なデータ調整、ドメインの専門知識の解決を必要とするデータサイエンスのシナリオでの利用は、依然として困難である。
本稿では,LLMをベースとしたエージェントであるData Interpreterについて述べる。
- 参考スコア(独自算出の注目度): 43.13678782387546
- License:
- Abstract: Large Language Model (LLM)-based agents have shown effectiveness across many applications. However, their use in data science scenarios requiring solving long-term interconnected tasks, dynamic data adjustments and domain expertise remains challenging. Previous approaches primarily focus on individual tasks, making it difficult to assess the complete data science workflow. Moreover, they struggle to handle real-time changes in intermediate data and fail to adapt dynamically to evolving task dependencies inherent to data science problems. In this paper, we present Data Interpreter, an LLM-based agent designed to automatically solve various data science problems end-to-end. Our Data Interpreter incorporates two key modules: 1) Hierarchical Graph Modeling, which breaks down complex problems into manageable subproblems, enabling dynamic node generation and graph optimization; and 2) Programmable Node Generation, a technique that refines and verifies each subproblem to iteratively improve code generation results and robustness. Extensive experiments consistently demonstrate the superiority of Data Interpreter. On InfiAgent-DABench, it achieves a 25% performance boost, raising accuracy from 75.9% to 94.9%. For machine learning and open-ended tasks, it improves performance from 88% to 95%, and from 60% to 97%, respectively. Moreover, on the MATH dataset, Data Interpreter achieves remarkable performance with a 26% improvement compared to state-of-the-art baselines. The code is available at https://github.com/geekan/MetaGPT.
- Abstract(参考訳): LLM(Large Language Model)ベースのエージェントは多くのアプリケーションで有効性を示している。
しかし、長期的な相互接続タスク、動的なデータ調整、ドメインの専門知識の解決を必要とするデータサイエンスのシナリオでの利用は、依然として困難である。
これまでのアプローチは主に個々のタスクに重点を置いていたため、完全なデータサイエンスワークフローを評価するのは困難だった。
さらに、中間データにおけるリアルタイムな変更の処理に苦労し、データサイエンス問題に固有のタスク依存の進化に動的に対応できない。
本稿では,LLMに基づくエージェントであるData Interpreterについて述べる。
私たちのData Interpreterには2つの重要なモジュールがあります。
1 階層グラフモデリングは、複雑な問題を管理可能なサブプロブレムに分解し、動的ノード生成とグラフ最適化を可能にする。
2) Programmable Node Generationは、コード生成結果とロバスト性を改善するために、各サブプロブレムを洗練、検証するテクニックです。
大規模な実験は、データインタープリタの優位性を一貫して示している。
InfiAgent-DABenchでは25%のパフォーマンス向上を実現し、精度は75.9%から94.9%に向上した。
機械学習とオープンエンドタスクでは、パフォーマンスを88%から95%に、パフォーマンスを60%から97%に改善する。
さらに、MATHデータセットでは、Data Interpreterは最先端のベースラインに比べて26%改善され、顕著なパフォーマンスを実現している。
コードはhttps://github.com/geekan/MetaGPTで入手できる。
関連論文リスト
- AvaTaR: Optimizing LLM Agents for Tool-Assisted Knowledge Retrieval [93.96463520716759]
大言語モデル(LLM)エージェントは、外部のツールや知識を活用して精度を高め、幻覚を減らすという印象的な能力を示した。
本稿では、LLMエージェントを最適化して提供するツールを効果的に利用し、与えられたタスク/ドメインの性能を向上させる新しいフレームワークであるAvaTaRを紹介する。
AvaTaRは、4つの課題にまたがる最先端のアプローチを一貫して上回り、新規事例に適用した場合に強力な一般化能力を示す。
論文 参考訳(メタデータ) (2024-06-17T04:20:02Z) - Unveiling the Impact of Coding Data Instruction Fine-Tuning on Large Language Models Reasoning [64.5243480989869]
Instruction Fine-Tuning (IFT) は事前訓練されたLarge Language Models (LLM) のゼロショット能力を著しく向上させる
IFT段階におけるLLMの推論能力に及ぼす符号化データの影響について検討する。
論文 参考訳(メタデータ) (2024-05-30T23:20:25Z) - Exploring Prompting Methods for Mitigating Class Imbalance through Synthetic Data Generation with Large Language Models [39.347666307218006]
大規模言語モデル (LLMs) は、様々な領域にまたがるコンテキスト内学習能力を示す。
そこで本研究では,クラス不均衡を緩和する現実的なデータ生成におけるLLMの有効性について検討した。
この結果から, CSV形式, バランスクラス, ユニークな変数マッピングを用いることで, 現実的で信頼性の高いデータを生成できることが示唆された。
論文 参考訳(メタデータ) (2024-04-15T17:49:16Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳(メタデータ) (2024-02-06T19:18:04Z) - Dynamics of Instruction Tuning: Each Ability of Large Language Models
Has Its Own Growth Pace [21.015261553612643]
10の能力にまたがる40k以上のデータセットを提示し、7bから33bのパラメータを持つ命令調整モデルについて検討する。
i) モデル全体の性能がデータとパラメータスケールに結びついているにもかかわらず、個々の能力はこれらの要因に対して異なる感性を持っている。
人為的なデータはGPT-4の合成データより効率が良く、容積の増加とともにモデル性能を常に向上させることができる。
論文 参考訳(メタデータ) (2023-10-30T15:37:10Z) - Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。
データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。
この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
論文 参考訳(メタデータ) (2022-09-29T18:11:01Z) - Is More Data Better? Re-thinking the Importance of Efficiency in Abusive
Language Detection with Transformers-Based Active Learning [13.369630848913305]
変圧器をベースとした能動学習は,高い効率性を維持しつつ,効率を大幅に向上させる,有望な手法であることを示す。
このアプローチでは、完全なデータセット上でのトレーニングに相当するパフォーマンスに到達するには、ラベル付きデータのごく一部が必要である。
論文 参考訳(メタデータ) (2022-09-21T08:47:06Z) - Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data
Programming [77.38174112525168]
私たちは、WS 学習パイプラインの全体的な生産性を、一般的な WS 監督アプローチと比較して平均20%(最大 47% のタスク)改善する、エンドツーエンドのインタラクティブなスーパービジョンシステムである Nemo を紹介します。
論文 参考訳(メタデータ) (2022-03-02T19:57:32Z) - Improving the Performance of Fine-Grain Image Classifiers via Generative
Data Augmentation [0.5161531917413706]
我々は、ロバスト生成アドリアルネットワーク(DAPPER GAN)の熟練した事前学習からデータ拡張を開発する。
DAPPER GANは、トレーニングイメージの新しいビューを自動的に生成するML分析支援ツールである。
本手法をStanford Carsデータセット上で実験的に評価し,車体形状とモデル分類精度の向上を実証した。
論文 参考訳(メタデータ) (2020-08-12T15:29:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。