論文の概要: Reward-rate Policy Gradient for Efficient Machine Learning Engineering Agents

• arxiv url: http://arxiv.org/abs/2609.36393v1
• Date: Mon, 28 Sep 2026 23:46:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.05618
• Title: Reward-rate Policy Gradient for Efficient Machine Learning Engineering Agents
• Title（参考訳）: 効率的な機械学習工学エージェントのためのリワードレートポリシーグラディエント
• Abstract要約: エージェント強化学習タスクの効率を最適化するために,リワードレートポリシーグラディエント(RPG)を提案する。 RPGは最適報酬率を近似し、ベースラインを上回っていることを実証的に示す。 本手法は,待ち時間を考慮した性能最適化のための実用的なソリューションを提供する。
• 参考スコア（独自算出の注目度）: 6.830687810046215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional reinforcement learning (RL) techniques focus on maximizing expected cumulative reward, where each action assumes to take a constant unit of time. However, this assumption does not hold for agentic RL tasks such as machine learning engineering (MLE) agents, where actions involve data loading, feature engineering, and model training that take variable durations. Efficiency matters in modern agentic RL where actions are costly. To address this limitation, we adapt from continuous-time RL and Semi-Markov Decision Process (SMDP) formulation and propose Reward-rate Policy Gradient (RPG), where we focus on optimizing the reward rate -- the long-term reward per unit of time. RPG estimates the reward rate from off-policy samples, then charges each action for the time it consumes at that rate. We first conduct theoretical analysis in the bandit setting to establish that RPG approximates the optimal reward rate and empirically demonstrate it outperforms baselines while avoiding enumeration over the policy space, a known issue for an existing method. We then further apply RPG on a small language model (Qwen3.5-4B) with self-improvement loops and empirically show it obtains higher rewards within a fixed time budget than vanilla RL on MLE-Bench and NanoGPT, with a 19.2% and 85.7% margin, respectively. Our method provides a practical solution for optimizing performance under wait time considerations in modern agentic RL tasks, where actions interact with external environments and cost time.
• Abstract（参考訳）: 従来の強化学習(RL)技術は、期待される累積報酬を最大化することに焦点を当てている。 しかし、この仮定は機械学習工学(MLE)エージェントのようなエージェントRLタスクには当てはまらない。 現代のエージェントRLでは、アクションがコストがかかる。 この制限に対処するため、我々は、連続的なRLおよび半マルコフ決定プロセス(SMDP)の定式化に適応し、報酬率の最適化(時間単位当たりの長期報酬)に焦点をあてるリワードレートポリシーグラディエント(RPG)を提案する。 RPGは、政治外のサンプルから報酬率を推定し、そのレートで消費する時間ごとに各アクションを課金する。 まず,提案手法の既知問題であるポリシ空間の列挙を回避しながら,RPGが最適報酬率を近似し,ベースラインを実証的に上回ることを示す。 さらに、自己改善ループを持つ小言語モデル(Qwen3.5-4B)にRPGを適用し、MLE-BenchとNanoGPTのバニラRLよりも高い報酬をそれぞれ19.2%と85.7%のマージンで得られることを示す。 本手法は,現代的なエージェントRLタスクにおいて,動作が外部環境やコスト時間と相互作用する場合に,待ち時間を考慮したパフォーマンスを最適化するための実用的なソリューションを提供する。

関連論文リスト

• Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates [53.3717573880076]
  JitRL(Just-In-Time Reinforcement Learning、ジャスト・イン・タイム強化学習)は、テスト時間ポリシーの最適化を可能にするトレーニング不要のフレームワークである。 JitRLは、経験の動的で非パラメトリックな記憶を維持し、関連する軌跡を取得して、オンザフライでのアクションの利点を推定する。 WebArenaとJerrichoの実験では、JitRLがトレーニング不要メソッドの間に新しい最先端技術を確立していることが示されている。
  論文  参考訳（メタデータ） (2026-01-26T14:16:51Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
  本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。 A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。 PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
  論文  参考訳（メタデータ） (2025-05-27T03:58:50Z)
• Agent-Temporal Credit Assignment for Optimal Policy Preservation in Sparse Multi-Agent Reinforcement Learning [14.003793644193605]
  マルチエージェント環境では、エージェントはスパースや遅れたグローバル報酬のために最適なポリシーを学ぶのに苦労することが多い。 本稿では,エージェント・テンポラル・アジェント・リワード再分配(TAR$2$)を導入し,エージェント・テンポラル・クレジット割り当て問題に対処する新しいアプローチを提案する。 TAR$2$は、粗末なグローバル報酬をタイムステップ固有の報酬に分解し、エージェント固有の報酬を計算します。
  論文  参考訳（メタデータ） (2024-12-19T12:05:13Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。