論文の概要: AutoData: Agentic Search for Pre-training Data Selection

• arxiv url: http://arxiv.org/abs/2609.19754v1
• Date: Thu, 17 Sep 2026 06:24:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.122119
• Title: AutoData: Agentic Search for Pre-training Data Selection
• Title（参考訳）: AutoData: 事前学習データ選択のためのエージェント検索
• Abstract要約: 本稿では,メトリック選択アルゴリズムを直接検索するエージェントであるAutoDataを紹介する。 一晩で検索すると、AutoDataは既存の人間設計パイプラインよりも優れた選択アルゴリズムを発見する。 これらの結果は,データ工学をエージェント機械学習問題として扱うことができることを示唆している。
• 参考スコア（独自算出の注目度）: 22.76955128141555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents have recently shown promise in automating machine learning engineering by editing model and training code under execution feedback. Data, however, remains largely outside this agentic optimisation loop. We frame pre-training data selection as heuristic engineering over per-document features, i.e., lexical statistics, categorical labels, and perplexity. We introduce AutoData, an agent that searches directly over executable selection algorithms. Unlike prior data mixture methods that optimise weights over a fixed set of domains, AutoData searches a richer program space of scoring, stratification, and stochastic selection rules, discovering feature interactions automatically by iteratively refining algorithms with validation feedback from a proxy model. Within an overnight search, AutoData discovers a selection algorithm that outperforms existing human-designed curation pipelines. Despite being searched only on this small proxy, the discovered recipe transfers to larger scales and improves the downstream metric CORE. These results suggest that data engineering can be treated as an agentic machine learning problem, extending autonomous research from model and training-code optimization to the data.
• Abstract（参考訳）: LLMエージェントは先頃、モデル編集と実行フィードバックによるコードのトレーニングによって、マシンラーニングエンジニアリングの自動化を約束している。 しかし、データはエージェント最適化ループのほとんど外にある。 我々は,文書ごとの機能,すなわち語彙統計,分類ラベル,難易度に関するヒューリスティックなエンジニアリングとして,事前学習データ選択の枠組みを定めている。 我々は,実行可能選択アルゴリズムを直接検索するエージェントであるAutoDataを紹介する。 固定されたドメインに対して重みを最適化する従来のデータ混合手法とは異なり、AutoDataは、スコア付け、成層化、確率的選択ルールというよりリッチなプログラム空間を探索し、プロキシモデルからのバリデーションフィードバックでアルゴリズムを反復精製することで、機能相互作用を自動的に発見する。 一晩で検索すると、AutoDataは既存の人間設計のキュレーションパイプラインよりも優れた選択アルゴリズムを発見する。 この小さなプロキシでのみ検索されるが、発見されたレシピは大規模に転送され、ダウンストリームメトリックのCOREが改善される。 これらの結果は、データエンジニアリングをエージェント機械学習問題として扱うことができ、モデルやトレーニングコードの最適化からデータまで自律的な研究を拡張していることを示唆している。

関連論文リスト

• DataMaster: Data-Centric Autonomous AI Research [51.95819363392062]
  タスク条件付き自律データエンジニアリングについて検討し、エージェントがデータ側のみを最適化することで、固定学習アルゴリズムを改善する。 木構造検索,共有候補データ,累積メモリを統合したデータエージェントフレームワークであるDataMasterを提案する。 MLE-Bench LiteとPostTrainBenchの2種類のベンチマークでDataMasterを評価する。
  論文  参考訳（メタデータ） (2026-05-11T17:46:24Z)
• Pre-Hoc Predictions in AutoML: Leveraging LLMs to Enhance Model Selection and Benchmarking for Tabular datasets [4.960830501953278]
  本稿では,AutoMLとpre-hocモデル選択の交点について検討する。 従来のモデルとLarge Language Model (LLM) エージェントを活用することで、AutoML検索スペースを削減できる。 提案されたアプローチは、AutoMLのシフトを提供し、計算オーバーヘッドを大幅に削減するとともに、与えられたデータセットに最適なモデルを選択している。
  論文  参考訳（メタデータ） (2025-10-02T09:37:12Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• AutoAct: Automatic Agent Learning from Scratch for QA via Self-Planning [54.47116888545878]
  AutoActはQAのための自動エージェント学習フレームワークである。 大規模アノテートデータやクローズドソースモデルからの合成計画軌道は依存していない。
  論文  参考訳（メタデータ） (2024-01-10T16:57:24Z)
• Auto-FP: An Experimental Study of Automated Feature Preprocessing for Tabular Data [10.740391800262685]
  機能前処理は、優れたモデル品質を保証するための重要なステップです。 大規模な検索スペースのため、ブルートフォースソリューションは違法に高価である。 我々は、Auto-FP問題を解決するために、様々なHPOおよびNASアルゴリズムを拡張した。
  論文  参考訳（メタデータ） (2023-10-04T02:46:44Z)
• AutoEn: An AutoML method based on ensembles of predefined Machine Learning pipelines for supervised Traffic Forecasting [1.6242924916178283]
  交通予測(TF)は、将来の交通状況を予測することで交通渋滞を緩和する能力により、関連性が高まっている。 TFは、モデル選択問題(MSP)として知られる機械学習パラダイムに大きな課題を提起する。 事前に定義されたMLパイプラインの集合からマルチクラス化アンサンブルを自動生成する,シンプルで効率的な手法であるAutoEnを紹介する。
  論文  参考訳（メタデータ） (2023-03-19T18:37:18Z)
• Automated Machine Learning Techniques for Data Streams [91.3755431537592]
  本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。 この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
  論文  参考訳（メタデータ） (2021-06-14T11:42:46Z)
• ARDA: Automatic Relational Data Augmentation for Machine Learning [23.570173866941612]
  本稿では,データセットとデータレポジトリを入力とし,拡張データセットを出力するエンド・ツー・エンドシステムを提案する。 本システムは,(1)入力の様々な属性に基づいて,入力データとデータを検索し結合するフレームワークと,(2)入力データからノイズや不適切な特徴を抽出する効率的な特徴選択アルゴリズムの2つの特徴を有する。
  論文  参考訳（メタデータ） (2020-03-21T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。