論文の概要: MLExpert: Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering

• arxiv url: http://arxiv.org/abs/2610.22344v1
• Date: Thu, 15 Oct 2026 17:56:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.274682
• Title: MLExpert: Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering
• Title（参考訳）: MLExpert: 自律機械学習エンジニアリングのための汎用エージェントモデルを目指して
• Abstract要約: 大規模言語モデル(LLM)は、科学研究や工学の支援から、自律的なAIシステムの開発と改善まで拡大している。 本稿では,自律型長距離MLE最適化のためのポストトレーニング手法を提案し,それを35B混合エージェントモデルであるMLExpertの学習に適用する。 MLE-Bench Liteでは、MLExpertはベースモデルの平均メダルレートを37.9%から72.7%に改善し、KimiK3やGLM-5.3のような大型モデルに匹敵するパフォーマンスを達成した。
• 参考スコア（独自算出の注目度）: 13.595760945080144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are expanding from assisting scientific research and engineering to autonomously developing and improving AI systems, advancing AI for AI (AI4AI) as a pathway toward recursive self-improvement (RSI). Workflow-driven machine learning engineering (MLE) systems provide a practical path toward this pursuit through complex orchestration that manages long-horizon experimentation, while recent MLE systems adopt model-directed interaction, allowing models to autonomously organize experiments and adapt optimization strategies based on execution feedback. However, feedback from each experiment reflects several preceding decisions, and a long MLE run contains many such costly experiments. Training must therefore select useful supervision from long interaction trajectories and learn from intermediate outcomes. We propose a post-training method for autonomous long-horizon MLE optimization and apply it to train MLExpert, a 35B Mixture-of-Experts agentic model. We design the Kaggle-MLE Factory to construct executable tasks and an interaction harness for model-directed experimentation. Hierarchical agentic SFT transfers general tool-use and coding capabilities to MLE through outcome-guided supervision. Windowed Interaction RL (WIRL) treats the multi-turn decisions between successive experiment results as an execution window and assigns it a shared outcome-based reward. Asynchronous collection and policy correction support policy updates before the trajectory ends. On MLE-Bench Lite, MLExpert improves the average medal rate of the base model from 37.9% to 72.7%, achieving performance comparable to larger frontier models such as Kimi-K3 and GLM-5.3. Further experiments show that MLExpert improves performance on NatureBench Lite, agent scaffold optimization, and algorithm optimization, suggesting that the learned optimization capability generalizes to other tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、科学研究や工学の支援から、AIシステムを自律的に開発・改善し、再帰的自己改善(RSI)への道筋としてAI for AI(AI4AI)を推し進めている。 ワークフロー駆動機械学習エンジニアリング(MLE)システムは、長期にわたる実験を管理する複雑なオーケストレーションを通じて、この追求に向けた実践的な道を提供する一方で、最近のMLEシステムは、モデル指向のインタラクションを採用し、モデルが実験を自律的に組織し、実行フィードバックに基づいて最適化戦略を適用することができる。 しかしながら、各実験からのフィードバックは、いくつかの先行した決定を反映しており、長いMLEの実行には、そのようなコストのかかる実験が数多く含まれている。 したがって、トレーニングは長い相互作用の軌跡から有用な監督を選択し、中間結果から学ぶ必要がある。 本稿では,自律型長距離MLE最適化のためのポストトレーニング手法を提案し,それを35B混合エージェントモデルであるMLExpertの学習に適用する。 そこで我々は,Kaggle-MLEファクトリを設計し,実行可能タスクとモデル指向実験のためのインタラクションハーネスを構築した。 階層型エージェントSFTは、結果誘導監視を通じて汎用ツールとコーディング機能をMLEに転送する。 Windowed Interaction RL (WIRL) は、連続した実験結果間の多重ターン決定を実行ウィンドウとして扱い、それを共有結果ベースの報酬として割り当てる。 非同期収集とポリシー修正は、軌道が終了する前にポリシー更新をサポートする。 MLE-Bench Liteでは、MLExpertはベースモデルの平均メダルレートを37.9%から72.7%に改善し、Kimi-K3やGLM-5.3のような大型フロンティアモデルに匹敵する性能を達成した。 さらなる実験により、MLExpertはNatureBench Liteの性能、エージェントの足場最適化、アルゴリズムの最適化を改善し、学習された最適化機能が他のタスクに一般化されることが示唆された。

関連論文リスト

• Reinforcement Learning Enhanced LLM Agents for Complex Vehicle Routing Problems [22.538946344456857]
  車両ルーティング問題(VRPs)は、様々なシナリオで広く応用されている基本的な最適化問題である。 複雑なVRPのモデリングを自動化するためのマルチエージェントフレームワークであるReinforcement Learning Enhanced LLMAgents(RLEA)を提案する。
  論文  参考訳（メタデータ） (2026-09-01T07:56:15Z)
• TREX: Automating LLM Fine-tuning via Agent-Driven Tree-based Exploration [31.598039827972727]
  大規模言語モデル(LLM)は、独立した科学的タスクを実行するためにAI研究エージェントに権限を与えている。 本稿では,LLMトレーニングライフサイクル全体を自動化したマルチエージェントシステムTREXを紹介する。
  論文  参考訳（メタデータ） (2026-04-15T17:38:06Z)
• Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting [92.57796055887995]
  本稿では,言語モデルエージェントの強化学習から後視体験のリプレイに適応するプロンプトフレームワークECHOを紹介する。 ECHOは失敗した試みで達成できた代替目標のために最適化された軌道を生成する。 我々は、テキストベースのナビゲーションと計画ベンチマークであるXMiniGridのステートフルバージョンと、協調的な情報収集企業シミュレーションであるPeopleJoinQAについて、ECHOを評価した。
  論文  参考訳（メタデータ） (2025-10-11T18:11:09Z)
• Agentic Reinforced Policy Optimization [66.96989268893932]
  検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。 現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。 エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-07-26T07:53:11Z)
• MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
  自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。 MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。 完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
  論文  参考訳（メタデータ） (2025-05-12T17:35:43Z)
• ToolACE-R: Model-aware Iterative Training and Adaptive Refinement for Tool Learning [84.69651852838794]
  ツール学習により、LLM(Large Language Models)は複雑なユーザタスクを解決するための外部ツールを活用することができる。 本稿では,ツール学習のための反復学習と適応的洗練の両方を含む新しいフレームワークであるToolACE-Rを提案する。 我々は、いくつかのベンチマークデータセットにわたる広範な実験を行い、ToolACE-Rが高度なAPIベースのモデルと比較して、競争力のあるパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2025-04-02T06:38:56Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• SELA: Tree-Search Enhanced LLM Agents for Automated Machine Learning [14.702694298483445]
  Tree-Search Enhanced LLM Agents (SELA)は、Monte Carlo Tree Search (MCTS)を利用してAutoMLプロセスを最適化するエージェントベースのシステムである。 SELAはパイプライン構成をツリーとして表現し、エージェントが知的かつ反復的に戦略を洗練させることを可能にする。 20の機械学習データセットにわたる広範囲な評価において、従来のAutoML手法とエージェントベースのAutoML手法のパフォーマンスを比較した。
  論文  参考訳（メタデータ） (2024-10-22T17:56:08Z)
• Trial and Error: Exploration-Based Trajectory Optimization for LLM Agents [49.85633804913796]
  本稿では,ETOと呼ばれる探索に基づく軌道最適化手法を提案する。 この学習方法はオープンLLMエージェントの性能を向上させるために設計されている。 3つの複雑なタスクに関する実験は、ETOがベースライン性能をはるかに上回っていることを示す。
  論文  参考訳（メタデータ） (2024-03-04T21:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。