論文の概要: AutoDataBench: A Data-centric Testbed for Accelerating Auto Research

• arxiv url: http://arxiv.org/abs/2609.40097v1
• Date: Wed, 30 Sep 2026 16:33:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.089133
• Title: AutoDataBench: A Data-centric Testbed for Accelerating Auto Research
• Title（参考訳）: AutoDataBench - 自動車研究を加速するためのデータ中心のテストベッド
• Abstract要約: 既存の自動検索ベンチマークは、しばしば複数の改善の源を絡み合わせる。 本研究では、モデル能力を形成するデータを理解し、操作し、改善するエージェントの能力である、データインテリジェンスを評価する。 データ診断、データ組織、データ構築にまたがるデータインテリジェンスの概念的なフレームワーク上に構築されたテストベッドであるAutoDataBenchを紹介します。
• 参考スコア（独自算出の注目度）: 46.749974338248336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing auto-research benchmarks often entangle multiple sources of improvement, including training frameworks, hyperparameters, compute budgets, and data, making it difficult to attribute why one frontier agent outperforms another to specific research capabilities. In this work, we isolate and systematically evaluate Data Intelligence: an agent's ability to understand, manipulate, and improve the data that shapes model capabilities. We introduce AutoDataBench, a controlled testbed built on a conceptual framework of data intelligence spanning data diagnosis, data organization, and data construction, instantiated through three highly curated optimization tasks while holding non-data factors fixed. Across tool use, retrieval, and knowledge injection, we evaluate frontier LLMs' ability to improve training data through iterative experimentation under task-specific resource budgets. Beyond optimization performance, we ask: do LLMs understand what their data interventions do? We compare predictions made before training with observed outcomes to seek evidence of data-effect reasoning beyond trial and error, and explore whether iterative feedback helps LLMs better understand how changes to training data affect model performance. Finally, we show that reusing AutoDataBench trajectories for mid-training improves downstream coding performance, highlighting its value in both evaluating data intelligence and generating high-quality training data. Code and resources are available at https://github.com/AutoDataBench/AutoDataBench.
• Abstract（参考訳）: 既存の自動検索ベンチマークは、トレーニングフレームワーク、ハイパーパラメータ、計算予算、データなど、複数の改善ソースを絡み合わせることが多い。 本研究では、モデル能力を形成するデータを理解し、操作し、改善するエージェントの能力である、データインテリジェンスを分離し、体系的に評価する。 我々はデータ診断、データ組織、データ構築にまたがるデータインテリジェンスの概念的なフレームワーク上に構築された制御されたテストベッドであるAutoDataBenchを紹介した。 ツールの使用,検索,知識注入などを通じて,タスク固有のリソース予算の下で反復的な実験を行うことで,訓練データを改善するフロンティアLSMの能力を評価する。 LLMは、データの介入が何をするのかを理解していますか? 我々は,学習前の予測と観察結果を比較し,試行錯誤以上のデータ効果推論の証拠を求めるとともに,LLMが学習データの変更がモデルパフォーマンスに与える影響をよりよく理解する上で,反復的なフィードバックが有効かどうかを考察する。 最後に,データインテリジェンスの評価と高品質なトレーニングデータの生成において,AutoDataBenchトラジェクトリの使用がダウンストリーム符号化性能を向上させることを示す。 コードとリソースはhttps://github.com/AutoDataBench/AutoDataBenchで入手できる。

関連論文リスト

• Autodata: An agentic data scientist to create high quality synthetic data [73.52340524237377]
  このようなデータサイエンティストエージェントを訓練(メタ最適化)する方法を示します。 我々は,計算機科学研究タスク,法的推論タスク,数学的対象による推論実験を行う。 この方向は、AIデータの構築方法を変える可能性がある、と私たちは信じています。
  論文  参考訳（メタデータ） (2026-06-24T16:08:31Z)
• DataMaster: Data-Centric Autonomous AI Research [51.95819363392062]
  タスク条件付き自律データエンジニアリングについて検討し、エージェントがデータ側のみを最適化することで、固定学習アルゴリズムを改善する。 木構造検索,共有候補データ,累積メモリを統合したデータエージェントフレームワークであるDataMasterを提案する。 MLE-Bench LiteとPostTrainBenchの2種類のベンチマークでDataMasterを評価する。
  論文  参考訳（メタデータ） (2026-05-11T17:46:24Z)
• Towards Next-Generation LLM Training: From the Data-Centric Perspective [29.115711465172122]
  大規模言語モデル(LLM)は、様々なタスクやドメインで顕著なパフォーマンスを示しており、データはこれらの進歩を可能にする上で中心的な役割を果たす。 この成功にもかかわらず、LLMトレーニングに必要な大量のデータセットの準備と有効利用は大きなボトルネックのままである。 本稿では、ワークフローの自動構築とスケーラブルなデータ管理をサポートする、堅牢でエージェントベースの自動データ準備システムの構築を提案する。 我々は、トレーニングプロセスを通してデータを動的に選択し、混合し、再重み付けし、より効率的で適応的で、パフォーマンスに配慮したデータ利用を可能にする統一されたデータモデルインタラクショントレーニングシステムについて論じる。
  論文  参考訳（メタデータ） (2026-03-16T01:40:09Z)
• Data Science and Technology Towards AGI Part I: Tiered Data Management [53.64581824953229]
  我々は、人工知能の開発がデータモデル共進化の新しい段階に入ったと論じる。 我々は、未処理のリソースから組織的で検証可能な知識まで、L0-L4階層のデータ管理フレームワークを紹介します。 提案手法の有効性を実証研究により検証する。
  論文  参考訳（メタデータ） (2026-02-09T18:47:51Z)
• Data Efficacy for Language Model Training [29.901090317084005]
  データは言語モデル(LM)の訓練の基礎となる。 近年の研究では、トレーニングデータの最小または最適サブセットを選択することで、パフォーマンスを最大化することを目的としている。 本研究は、LMトレーニングにおけるデータの有効性を検討するための一般的なパラダイムであるDELTを紹介する。
  論文  参考訳（メタデータ） (2025-06-26T17:59:07Z)
• RLBoost: Boosting Supervised Models using Deep Reinforcement Learning [0.0]
  RLBoostは、深層強化学習戦略を用いて、特定のデータセットを評価し、新しいデータの品質を推定できるモデルを得るアルゴリズムである。 論文の結果から, このモデルでは, LOO, DataShapley, DVRLなどの最先端アルゴリズムよりも, より優れた, より安定した結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-05-23T14:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。