論文の概要: Reinforcement Learning for Machine Learning Engineering Agents

• arxiv url: http://arxiv.org/abs/2509.01684v1
• Date: Mon, 01 Sep 2025 18:04:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.813834
• Title: Reinforcement Learning for Machine Learning Engineering Agents
• Title（参考訳）: 機械学習工学エージェントのための強化学習
• Authors: Sherry Yang, Joy He-Yueya, Percy Liang,
• Abstract要約: 強化学習によって改善される弱いモデルによって支援されるエージェントは、はるかに大きいが静的モデルによって支援されるエージェントよりも優れていることを示す。 分散非同期RLフレームワークにおいて,高コストかつ高利回りな動作を増幅するための時間依存性の勾配更新を提案する。 また,早期に失敗するプログラムとほぼ正しくないプログラムを区別し,部分クレジットを提供する環境機器を提案する。
• 参考スコア（独自算出の注目度）: 52.03168614623642
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing agents for solving tasks such as ML engineering rely on prompting powerful language models. As a result, these agents do not improve with more experience. In this paper, we show that agents backed by weaker models that improve via reinforcement learning (RL) can outperform agents backed by much larger, but static models. We identify two major challenges with RL in this setting. First, actions can take a variable amount of time (e.g., executing code for different solutions), which leads to asynchronous policy gradient updates that favor faster but suboptimal solutions. To tackle variable-duration actions, we propose duration- aware gradient updates in a distributed asynchronous RL framework to amplify high-cost but high-reward actions. Second, using only test split performance as a reward provides limited feedback. A program that is nearly correct is treated the same as one that fails entirely. To address this, we propose environment instrumentation to offer partial credit, distinguishing almost-correct programs from those that fail early (e.g., during data loading). Environment instrumentation uses a separate static language model to insert print statement to an existing program to log the agent's experimental progress, from which partial credit can be extracted as reward signals for learning. Our experimental results on MLEBench suggest that performing gradient updates on a much smaller model (Qwen2.5-3B) trained with RL outperforms prompting a much larger model (Claude-3.5-Sonnet) with agent scaffolds, by an average of 22% across 12 Kaggle tasks.
• Abstract（参考訳）: MLエンジニアリングのようなタスクを解決するための既存のエージェントは、強力な言語モデルを促進することに依存している。 結果として、これらのエージェントはより経験を積んでは改善しない。 本稿では、強化学習(RL)により改善される弱いモデルによって支援されるエージェントが、より大きく、静的なモデルによって支援されるエージェントよりも優れていることを示す。 この設定では、RLにおける2つの大きな課題を特定します。 まず、アクションは可変時間(例えば、異なるソリューションでコードを実行する)を要し、非同期ポリシーの勾配が更新され、より高速だが最適でないソリューションが好まれます。 分散非同期RLフレームワークにおいて,変数デューレーション動作に対処するために,高コストかつ高リワード動作を増幅するための時間依存性の勾配更新を提案する。 第二に、テスト分割のパフォーマンスのみを報酬として使用すると、フィードバックは限られます。 ほぼ正しいプログラムは、完全に失敗するプログラムと同じように扱われる。 そこで本研究では,早期に故障したプログラム(例えばデータロード中)と,ほぼ正しいプログラムを区別して,部分クレジットを提供する環境機器を提案する。 環境インスツルメンテーションは、別の静的言語モデルを使用して既存のプログラムに印刷文を挿入し、エージェントの実験的な進捗を記録する。 Claude-3.5-Sonnetは,12のKaggleタスクに対して平均22%の速度で,さらに大きなモデル (Claude-3.5-Sonnet) を実現する。

関連論文リスト

• Reinforced Language Models for Sequential Decision Making [6.971286730860635]
  大規模言語モデル(LLM)は、シーケンシャルな意思決定エージェントとしての可能性を示している。 既存のポストトレーニング手法はシングルターンインタラクション用に設計されており、マルチステップエージェントタスクにおけるクレジット割り当てを処理できない。 この研究は、標的となるポストトレーニングが、シーケンシャルな意思決定エージェントを作成するためのモデルスケールに依存する、実用的で効率的な代替手段であることを実証している。
  論文  参考訳（メタデータ） (2025-08-14T17:05:44Z)
• Intention-Conditioned Flow Occupancy Models [69.79049994662591]
  大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。 同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。 生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
  論文  参考訳（メタデータ） (2025-06-10T15:27:46Z)
• Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [55.044159987218436]
  大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。 LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2025-05-23T08:23:36Z)
• Boosting Virtual Agent Learning and Reasoning: A Step-Wise, Multi-Dimensional, and Generalist Reward Model with Benchmark [72.46357004059661]
  Generalist Virtual Agents (GVA) は自律的なタスク実行において大きな可能性を示している。 これらの課題に対処するため,ステップワイズ多次元ジェネラリスト・リワードモデルを提案する。 同様に、エージェントトレーニング用のきめ細かい信号を提供し、推論時間スケーリングのためのより良いアクションを選択することができる。
  論文  参考訳（メタデータ） (2025-03-24T13:30:47Z)
• Solving Offline Reinforcement Learning with Decision Tree Regression [0.0]
  本研究は, オフライン強化学習問題に対して, 回帰タスクとして再検討することで, 新たなアプローチを提案する。 我々は、リターン条件付きとリターン重み付き決定ツリーポリシーの2つの異なるフレームワークを紹介します。 オフラインRLに対するこの改定されたアプローチに固有の単純化にもかかわらず、我々のエージェントは、少なくとも確立された手法と同等の性能を示す。
  論文  参考訳（メタデータ） (2024-01-21T23:50:46Z)
• Learning to Optimize for Reinforcement Learning [58.01132862590378]
  強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。 エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。 おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
  論文  参考訳（メタデータ） (2023-02-03T00:11:02Z)
• Retrieval-Augmented Reinforcement Learning [63.32076191982944]
  過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。 検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。 検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
  論文  参考訳（メタデータ） (2022-02-17T02:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。