論文の概要: CODA-BENCH: Can Code Agents Handle Data-Intensive Tasks?

• arxiv url: http://arxiv.org/abs/2606.15300v1
• Date: Sat, 13 Jun 2026 13:46:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.260143
• Title: CODA-BENCH: Can Code Agents Handle Data-Intensive Tasks?
• Title（参考訳）: CODA-BENCH: コードエージェントはデータ集約タスクを処理できるか?
• Authors: Yuxin Zhang, Ju Fan, Meihao Fan, Shaolei Zhang, Xiaoyong Du,
• Abstract要約: CODA-BENCHは、データ集約環境でコードとデータインテリジェンスを共同で評価する最初のベンチマークである。 我々はKaggleエコシステムに基づいたデータ集約型のLinuxサンドボックスを構築した。 CODA-BENCHは31のコミュニティにまたがる1,009のタスクで構成され、各タスク環境には平均980のファイルが含まれている。
• 参考スコア（独自算出の注目度）: 37.616773601723416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advanced agents are increasingly demonstrating the potential to operate as autonomous engineers, creating a growing demand for evaluation benchmarks that capture the complexity of real-world development. Such environments typically involve both complex code and large-scale data (i.e., file system). However, existing benchmarks usually evaluate code-centric or data-centric capabilities in isolation, leaving a clear gap with real development scenarios. In this paper, we bridge this gap by introducing CODA-BENCH, the first benchmark to jointly evaluate code and data intelligence in a data-intensive environment. We construct a data-intensive Linux sandbox based on the Kaggle ecosystem (containing hundreds of datasets), where agents must actively explore complex file hierarchies to identify relevant resources and generate code for data-driven analytical tasks. CODA-BENCH comprises 1,009 tasks spanning 31 communities, with each task environment containing an average of 980 files, simulating realistic data scale and noise. Evaluations of advanced agents reveal that even top-performing systems struggle to effectively integrate data discovery with code execution, achieving a success rate of only 61.1%. These results highlight a substantial gap in current agentic capabilities for data-intensive tasks and point to promising directions for future research.
• Abstract（参考訳）: 高度なエージェントは、自律的なエンジニアとして活動する可能性をますます示し、現実世界の開発の複雑さを捉えた評価ベンチマークに対する需要が高まっている。 このような環境は通常、複雑なコードと大規模なデータ(ファイルシステム)の両方を含む。 しかしながら、既存のベンチマークは通常、コード中心またはデータ中心の機能を独立した形で評価し、実際の開発シナリオと明確なギャップを残します。 本稿では,データ集約環境におけるコードとデータインテリジェンスを共同評価する最初のベンチマークであるCODA-BENCHを導入することにより,このギャップを埋める。 我々はKaggleエコシステム(数百のデータセットを含む)に基づくデータ集約型のLinuxサンドボックスを構築し、エージェントは複雑なファイル階層を積極的に探索し、関連するリソースを特定し、データ駆動分析タスクのためのコードを生成する必要がある。 CODA-BENCHは31のコミュニティにまたがる1,009のタスクで構成され、各タスク環境は平均980のファイルを含み、実際のデータスケールとノイズをシミュレートする。 高度なエージェントの評価によると、トップパフォーマンスのシステムでさえ、データ発見とコード実行を効果的に統合するのに苦労しており、成功率は61.1%である。 これらの結果は、データ集約型タスクにおける現在のエージェント能力の実質的なギャップと、将来的な研究に向けての有望な方向性を浮き彫りにしている。

関連論文リスト

• DAComp: Benchmarking Data Agents across the Full Data Intelligence Lifecycle [41.576417987200074]
  実世界のエンタープライズデータインテリジェンスには、ソースを分析可能なテーブルに変換するデータエンジニアリングや、これらのテーブルを意思決定指向の洞察に変換するデータ分析が含まれる。 複雑な機能を反映した210タスクのベンチマークであるDACompを紹介します。
  論文  参考訳（メタデータ） (2025-12-03T23:21:28Z)
• CoDA: Agentic Systems for Collaborative Data Visualization [57.270599188947294]
  深層研究はデータ分析に革命をもたらしたが、データサイエンティストは依然として手作業による視覚化にかなりの時間を費やしている。 単純なシングルエージェントシステムやマルチエージェントシステムを含む既存のアプローチは、しばしばタスクを単純化する。 本稿では,メタデータ分析,タスク計画,コード生成,自己回帰に特殊なLLMエージェントを利用するマルチエージェントシステムであるCoDAを紹介する。
  論文  参考訳（メタデータ） (2025-10-03T17:30:16Z)
• DatasetResearch: Benchmarking Agent Systems for Demand-Driven Dataset Discovery [26.388978716803464]
  AIエージェントは、通常の検索を超越して、特定のユーザ要求を満たすデータセットを体系的に検出できるだろうか? 我々のベンチマークと包括的な分析は、次世代の自己改善型AIシステムの基礎を提供する。
  論文  参考訳（メタデータ） (2025-08-09T12:15:08Z)
• Towards an Introspective Dynamic Model of Globally Distributed Computing Infrastructures [27.473508984130728]
  大規模な科学的コラボレーションはペタバイト単位のデータを生成し、ボリュームはすぐにエクタバイトに達すると期待されている。 これらの計算とストレージの要求を管理するために、中央集権的なワークフローとデータ管理システムが実装されている。 より効果的あるいはAI駆動のソリューションを採用する上で重要な障害は、迅速で信頼性の高いイントロスペクティブ・ダイナミック・モデルがないことである。
  論文  参考訳（メタデータ） (2025-06-24T12:42:36Z)
• Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
  Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。 Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
  論文  参考訳（メタデータ） (2024-10-02T09:11:10Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。