論文の概要: AutoDataBench: Can Agents Write the Data That Feeds the Self-Improvement Loop?

• arxiv url: http://arxiv.org/abs/2609.35025v1
• Date: Mon, 28 Sep 2026 12:24:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 17:42:41.498158
• Title: AutoDataBench: Can Agents Write the Data That Feeds the Self-Improvement Loop?
• Title（参考訳）: AutoDataBench: エージェントは自己改善ループをフィードするデータを書けるか?
• Abstract要約: エージェントがそのようなタスクを書く能力の現在の評価は、エージェントが生成したもののトレーニング後にモデルがどのように機能するかを測定する。 既存の評価では、個々のタスクがデータパイプラインの受け入れ基準を満たすかどうかを問わない。 AutoDataBenchは、自律データ合成のためのエージェントの能力を直接測定する。
• 参考スコア（独自算出の注目度）: 62.41600992806851
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent gains in language model capability have come more from data than from architecture. Frontier labs and data companies produce verifiable agentic tasks, which supervised finetuning and reinforcement learning then turn into capability.This production line still rests on human labour and on human-in-the-loop collaboration. Automating task creation would let data production scale with compute rather than with expert headcount, would extend to more domains, and would enable a key step in recursive self-improvement (RSI). Current evaluations of an agent's ability to write such tasks measure how a model performs after training on what the agent produced. That does not match common practice in the data industry, where data is delivered sample by sample and each sample is accepted against a set of criteria rather than put straight into training. No existing evaluation asks whether an individual task meets the acceptance criteria of a data pipeline. We therefore introduce AutoDataBench. Given an original benchmark task and a record of the target model attempting it, an agent must write a new task for the same suite that meets practical acceptance standards on validity, novelty, difficulty and behavioural coverage. Across three benchmarks of executable agent tasks, no agent we evaluate scores above 20 out of 100 at the default time budget of 45 minutes. Giving the strongest agent four times as long improves its score substantially, while the cost of one usable task stays almost unchanged. Current agents can write training tasks of the required quality, but not efficiently. AutoDataBench provides a direct measure of an agent's capacity for autonomous data synthesis: one artifact at a time, judged against the criteria a production pipeline would apply, and without a training run. Code and data are available at https://github.com/StarDewXXX/AutoDataBench.
• Abstract（参考訳）: 言語モデル能力の最近の進歩は、アーキテクチャよりもデータから来ています。 最前線の研究所やデータ会社は検証可能なエージェントを生産し、微調整と強化学習を監督し、その後能力に転換する。 タスク生成の自動化は、専門家のヘッダーではなく、データ生成を計算でスケールし、より多くのドメインに拡張し、再帰的自己改善(RSI)の重要なステップを可能にする。 エージェントがそのようなタスクを書く能力の現在の評価は、エージェントが生成したもののトレーニング後にモデルがどのように機能するかを測定する。 データ産業では、サンプルによってデータが提供され、各サンプルはトレーニングに真っ直ぐ参加するのではなく、一連の基準で受け入れられる。 既存の評価では、個々のタスクがデータパイプラインの受け入れ基準を満たすかどうかを問わない。 したがってAutoDataBenchを導入します。 元のベンチマークタスクとそれを試みるターゲットモデルのレコードが与えられた場合、エージェントは、妥当性、新規性、難易度、行動カバレッジに関する実用的な受け入れ基準を満たす同じスイートのために、新しいタスクを書かなければならない。 3つの実行可能なエージェントタスクのベンチマークで、デフォルトの時間予算45分で100点中20点以上のスコアを評価するエージェントはいません。 最強のエージェントを4回与えると、そのスコアが大幅に向上する一方、1つのタスクのコストはほぼ変わらない。 現在のエージェントは必要な品質のトレーニングタスクを書くことができるが、効率的ではない。 AutoDataBenchは、エージェントの自律的なデータ合成能力の直接的な測定を提供する。 コードとデータはhttps://github.com/StarDewXXX/AutoDataBench.comで公開されている。

関連論文リスト

• RSIBench-Data: Benchmarking Data-Centric Research for Recursive Self-Improvement [27.641105176473136]
  既存のベンチマークは、最適化、サービス、評価、システム実装と研究上の決定を結びつける。 我々は、LLMエージェントのベンチマークであるRSIBench-Dataを、固定された後学習スタックを持つデータ中心の研究者として紹介する。 ソフトウェア工学,端末利用,科学的質問応答,数学の6つのベンチマークで,フロンティアエージェントを4つ評価した。
  論文  参考訳（メタデータ） (2026-07-28T15:46:41Z)
• EvoAgentBench: Benchmarking Agent Self-Evolution via Ability Transfer [25.657960361149833]
  EvoAgentBenchは、Ability-guided Transferによるエージェントの自己進化のベンチマークである。 すべてのテストタスクは、認証されたトレーニングサイドの能力サポートによってバックアップされる。
  論文  参考訳（メタデータ） (2026-07-06T15:17:09Z)
• Can Generalist Agents Automate Data Curation? [58.652262227632406]
  トレーニングデータのキュレーションは、現代のAI開発において、もっとも重要だが労働集約的な部分のひとつだ。 一般のコーディングエージェントがこのデータキュレーションループを自動化できるかどうかを問う。 モデル、トレーニングレシピ、評価スイートを修正するエージェント中心のベンチマークである*Curation-Bench*を紹介します。
  論文  参考訳（メタデータ） (2026-06-02T22:26:53Z)
• Agent-Testing Agent: A Meta-Agent for Automated Testing and Evaluation of Conversational AI Agents [2.3429263075112288]
  本稿では,静的コード解析,デザイナの尋問,文献マイニング,ペルソナ駆動の対人テスト生成を組み合わせたメタエージェントであるAgent-Testing Agent(ATA)を提案する。 各対話はLLM-as-a-Judge (LAAJ)ルーブリックでスコアされ、その後の試験をエージェントの最も弱い能力に向けて操るために使用される。
  論文  参考訳（メタデータ） (2025-08-24T15:02:13Z)
• DataEnvGym: Data Generation Agents in Teacher Environments with Student Feedback [62.235925602004535]
  DataEnvGymは、データ生成エージェントのための教師環境のテストベッドである。 エージェントとデータ生成エンジンを含むシーケンシャルな意思決定タスクとして、データ生成をフレーム化する。 学生は、生成されたデータに基づいて反復的に訓練され、評価され、各イテレーション後にエージェントにフィードバックが報告される。
  論文  参考訳（メタデータ） (2024-10-08T17:20:37Z)
• MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
  我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。 各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。 我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T04:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。