論文の概要: AutoKaggle: A Multi-Agent Framework for Autonomous Data Science Competitions

• arxiv url: http://arxiv.org/abs/2410.20424v1
• Date: Sun, 27 Oct 2024 12:44:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:18:19.297246
• Title: AutoKaggle: A Multi-Agent Framework for Autonomous Data Science Competitions
• Title（参考訳）: AutoKaggle: 自律データサイエンスコンペティションのためのマルチエージェントフレームワーク
• Authors: Ziming Li, Qianbo Zang, David Ma, Jiawei Guo, Tianyu Zheng, Minghao liu, Xinyao Niu, Xiang Yue, Yue Wang, Jian Yang, Jiaheng Liu, Wanjun Zhong, Wangchunshu Zhou, Wenhao Huang, Ge Zhang,
• Abstract要約: AutoKaggleは、コード実行と単体テストを組み合わせた反復的な開発プロセスを実装し、コードの正しさとロジックの整合性を保証する。 データクリーニング、特徴工学、モデリングのための検証済み機能を含む汎用データサイエンスツールキットは、このソリューションの基礎を形成します。 AutoKaggleは、一般的なデータサイエンスパイプラインにおけるバリデーションレート0.85と総合スコア0.82を達成する。
• 参考スコア（独自算出の注目度）: 47.70396378352306
• License:
• Abstract: Data science tasks involving tabular data present complex challenges that require sophisticated problem-solving approaches. We propose AutoKaggle, a powerful and user-centric framework that assists data scientists in completing daily data pipelines through a collaborative multi-agent system. AutoKaggle implements an iterative development process that combines code execution, debugging, and comprehensive unit testing to ensure code correctness and logic consistency. The framework offers highly customizable workflows, allowing users to intervene at each phase, thus integrating automated intelligence with human expertise. Our universal data science toolkit, comprising validated functions for data cleaning, feature engineering, and modeling, forms the foundation of this solution, enhancing productivity by streamlining common tasks. We selected 8 Kaggle competitions to simulate data processing workflows in real-world application scenarios. Evaluation results demonstrate that AutoKaggle achieves a validation submission rate of 0.85 and a comprehensive score of 0.82 in typical data science pipelines, fully proving its effectiveness and practicality in handling complex data science tasks.
• Abstract（参考訳）: 表形式のデータを含むデータサイエンスタスクは、高度な問題解決アプローチを必要とする複雑な課題を提示します。 我々は,データサイエンティストが協調的なマルチエージェントシステムを通じて毎日のデータパイプラインを完了するのを支援する,強力でユーザ中心のフレームワークであるAutoKaggleを提案する。 AutoKaggleは、コード実行、デバッグ、包括的なユニットテストを組み合わせた反復的な開発プロセスを実装し、コードの正しさとロジックの整合性を保証する。 このフレームワークは高度にカスタマイズ可能なワークフローを提供し、ユーザーは各フェーズに介入し、自動化されたインテリジェンスと人間の専門知識を統合することができる。 データクリーニング、特徴工学、モデリングのための検証済み機能を含む汎用データサイエンスツールキットは、共通タスクの合理化による生産性の向上により、このソリューションの基礎を形成します。 実世界のアプリケーションシナリオでデータ処理ワークフローをシミュレートする8つのKaggleコンペティションを選択しました。 評価結果は、AutoKaggleが典型的なデータサイエンスパイプラインにおけるバリデーション申請率0.85と総合スコア0.82を達成し、複雑なデータサイエンスタスクを扱う上での有効性と実用性を十分に証明していることを示している。

関連論文リスト

• LAMBDA: A Large Model Based Data Agent [7.240586338370509]
  本稿では,LArge Model Based Data Agent (LAMBDA)を紹介する。 LAMBDAは、複雑なデータ駆動アプリケーションにおけるデータ分析の課題に対処するように設計されている。 それは、人間と人工知能をシームレスに統合することで、データ分析パラダイムを強化する可能性がある。
  論文  参考訳（メタデータ） (2024-07-24T06:26:36Z)
• Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
  我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。 Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。 これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
  論文  参考訳（メタデータ） (2024-07-15T17:54:37Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• Data Interpreter: An LLM Agent For Data Science [43.13678782387546]
  LLM(Large Language Model)ベースのエージェントは多くのアプリケーションで有効性を示している。 しかし、長期的な相互接続タスク、動的なデータ調整、ドメインの専門知識の解決を必要とするデータサイエンスのシナリオでの利用は、依然として困難である。 本稿では,LLMをベースとしたエージェントであるData Interpreterについて述べる。
  論文  参考訳（メタデータ） (2024-02-28T19:49:55Z)
• An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
  研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。 本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。 提案されたフレームワークは使いやすく、柔軟です。
  論文  参考訳（メタデータ） (2024-02-26T07:22:51Z)
• AutoAct: Automatic Agent Learning from Scratch for QA via Self-Planning [54.47116888545878]
  AutoActはQAのための自動エージェント学習フレームワークである。 大規模アノテートデータやクローズドソースモデルからの合成計画軌道は依存していない。
  論文  参考訳（メタデータ） (2024-01-10T16:57:24Z)
• Uncertainty in Automated Ontology Matching: Lessons Learned from an Empirical Experimentation [6.491645162078057]
  オントロジは、相互運用によるデータセットのリンクとセマンティック統合において重要な役割を果たす。 本稿では、オントロジーマッチングに基づく手法を用いて、アプリケーションの観点からデータ統合にアプローチする。
  論文  参考訳（メタデータ） (2023-10-18T05:42:51Z)
• Towards Lightweight Data Integration using Multi-workflow Provenance and Data Observability [0.2517763905487249]
  統合データ分析は、特に現在のAI時代において、科学的発見において重要な役割を果たす。 軽量ランタイム向けマルチワークフロー統合データ分析手法MIDAを提案する。 Summitスーパーコンピュータの1,680個のCPUコア上で,最大10000のタスクを実行するほぼゼロのオーバーヘッドを示す。
  論文  参考訳（メタデータ） (2023-08-17T14:20:29Z)
• Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data Programming [77.38174112525168]
  私たちは、WS 学習パイプラインの全体的な生産性を、一般的な WS 監督アプローチと比較して平均20%(最大 47% のタスク)改善する、エンドツーエンドのインタラクティブなスーパービジョンシステムである Nemo を紹介します。
  論文  参考訳（メタデータ） (2022-03-02T19:57:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。