論文の概要: Agentic Data Engineering for LLMs: System Design and a Controlled Empirical Study

• arxiv url: http://arxiv.org/abs/2610.14238v1
• Date: Fri, 09 Oct 2026 18:56:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.025244
• Title: Agentic Data Engineering for LLMs: System Design and a Controlled Empirical Study
• Title（参考訳）: LLMのためのエージェントデータエンジニアリング:システム設計と制御実証研究
• Abstract要約: データエンジニアリングは、データ選択、報酬、カリキュラムがモデル学習に与える影響を決定するために反復的な実験を必要とする。 本研究では,エージェントが実験的なフィードバックを用いて,定型トレーニングおよび評価プロトコル下でのデータエンジニアリング戦略を開発する方法について検討する。
• 参考スコア（独自算出の注目度）: 47.64819117460269
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM data engineering requires iterative experimentation to determine how data selection, rewards, and curricula affect model learning, making it a natural setting for AI-for-AI (AI4AI) research. Can agents use experimental feedback to progressively improve strategies, and do the resulting strategies improve target-model performance on held-out data? We study how agents use experimental feedback to develop data-engineering strategies under fixed training and evaluation protocols. Our Agentic Data Engineering (ADE) framework lets agents pursue, revise, or combine research directions using cumulative findings. Strategies are selected by in-loop scores and evaluated on held-out benchmarks. Across four tasks-math and code data selection, math reward design, and math curriculum learning-selected strategies achieve absolute gains over generic baselines of up to 13.34% on AIME25 Pass@32 and 5.85% averaged across four held-out benchmarks under fixed training conditions. In-loop scores improve over successive experiments, while held-out trajectories show that later in-loop gains do not always improve generalization. Comparisons of research organization and feedback access favor combining evidence analysis with cumulative findings. Research trajectories show how earlier findings inform strategy revisions and combinations across research directions.
• Abstract（参考訳）: LLMデータエンジニアリングは、データ選択、報酬、カリキュラムがモデル学習にどのように影響するかを決定するために反復的な実験を必要としており、AI4AI(AI-for-AI)研究の自然な設定となっている。 エージェントは実験的なフィードバックを使って戦略を段階的に改善できるのか? 本研究では,エージェントが実験的なフィードバックを用いて,定型トレーニングおよび評価プロトコル下でのデータエンジニアリング戦略を開発する方法について検討する。 エージェントデータエンジニアリング(ADE)フレームワークは、エージェントが累積的な結果を使って研究の方向性を追跡し、修正し、組み合わせることを可能にする。 戦略はループ内スコアによって選択され、ホールドアウトベンチマークで評価される。 AIME25 Pass@32で最大13.34%、固定された訓練条件下での4つのベンチマークで平均5.85%となる。 ループ内スコアは連続実験よりも向上するが、ホールドアウト軌道は後続のループ内ゲインが必ずしも一般化を改善するとは限らないことを示している。 研究組織とフィードバックアクセスの比較は,エビデンス分析と累積的分析を併用することを好む。 研究軌跡は、以前の研究成果が研究方向の戦略修正と組み合わせをいかに伝えるかを示している。

関連論文リスト

• RSIBench-Data: Benchmarking Data-Centric Research for Recursive Self-Improvement [27.641105176473136]
  既存のベンチマークは、最適化、サービス、評価、システム実装と研究上の決定を結びつける。 我々は、LLMエージェントのベンチマークであるRSIBench-Dataを、固定された後学習スタックを持つデータ中心の研究者として紹介する。 ソフトウェア工学,端末利用,科学的質問応答,数学の6つのベンチマークで,フロンティアエージェントを4つ評価した。
  論文  参考訳（メタデータ） (2026-07-28T15:46:41Z)
• Demystifying Reinforcement Learning in Agentic Reasoning [90.3737088727791]
  エージェント推論における強化学習のデミスティフィケーションのための包括的かつ体系的な調査を行う。 i) 縫合された合成軌道を、実際のエンドツーエンドのツール・ツー・ユース・トラジェクトリに置き換えることで、より強力なSFTが得られる。 探索フレンドリーな技術は、高いクリップ、過剰な報酬形成、適切なポリシーエントロピーの維持といったエージェントRLにとって不可欠であり、訓練効率を向上させることができる。
  論文  参考訳（メタデータ） (2025-10-13T17:57:15Z)
• Scalability of Reinforcement Learning Methods for Dispatching in Semiconductor Frontend Fabs: A Comparison of Open-Source Models with Real Industry Datasets [40.434003972007744]
  我々は,オープンソースのシミュレーションモデルと実業界データセットを比較し,最適化手法のスケーリング方法を評価する。 提案した進化戦略に基づく手法は、同等の政策段階に基づく手法よりもはるかに優れていることを示す。 進化戦略を用いて,2桁のタドネス向上と1桁のスループット向上を観察した。
  論文  参考訳（メタデータ） (2025-05-16T11:32:29Z)
• Take the essence and discard the dross: A Rethinking on Data Selection for Fine-Tuning Large Language Models [36.22392593103493]
  微調整された大規模言語モデル(LLM)のデータ選択は、既存のデータセットから高品質なサブセットを選択することを目的としている。 既存の調査では、微調整フェーズの詳細な調査を見落としている。 特徴抽出, 基準設計, セレクタ評価を含む新しい3段階の手法を導入し, これらの手法を体系的に分類し, 評価する。
  論文  参考訳（メタデータ） (2024-06-20T08:58:58Z)
• ALE: A Simulation-Based Active Learning Evaluation Framework for the Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
  Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。 この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。 NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:42:11Z)
• DataComp: In search of the next generation of multimodal datasets [179.79323076587255]
  DataCompは、Common Crawlの128億の画像テキストペアの候補プールを中心にしたデータセット実験用のテストベッドである。 我々のベンチマークは、複数の計算スケールから成っている。 特に、最良のベースラインであるDataComp-1Bは、ImageNetでCLIP ViT-L/14をスクラッチから79.2%のゼロショット精度でトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2023-04-27T11:37:18Z)
• Federated Learning under Importance Sampling [49.17137296715029]
  本研究は, サンプリングエージェントと非均一に誘導されるデータに対する重要サンプリングと工夫の効果について検討する。 代替のないサンプリングを含むスキームでは,結果のアーキテクチャの性能は,各エージェントのデータ変動性に関連する2つの要因によって制御される。
  論文  参考訳（メタデータ） (2020-12-14T10:08:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。