論文の概要: Predict the Reward, Not the World: World Reward Models for ML Agents

• arxiv url: http://arxiv.org/abs/2610.38439v1
• Date: Wed, 28 Oct 2026 08:20:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.97471
• Title: Predict the Reward, Not the World: World Reward Models for ML Agents
• Title（参考訳）: 世界ではなくリワードを予測する:MLエージェントのための世界リワードモデル
• Abstract要約: 実行は検索に信頼できるフィードバックを与えるが、単一の実行には数時間かかり、ほとんどの実行はエージェントが破棄するプログラムで終了する。 最近のエージェントは、大きな言語モデルを、それぞれのプログラムがどのように実行されるかを予測する世界モデルとして機能させることで、これらの実行を保存しようとする。 エージェントが実行結果を予測する必要はない、と我々は主張する。
• 参考スコア（独自算出の注目度）: 15.095642276979191
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Search-based machine-learning (ML) agents improve a solution by writing candidate programs, executing them, and keeping the best. Execution gives the search reliable feedback, but a single run can take hours, and most runs end in programs the agent discards. Recent agents try to save these runs by letting a large language model act as a world model that predicts how each program would perform. However, a wrong prediction feeds the search false information. We argue that an agent does not need to predict the outcome of execution, only the decision that execution would support. We propose World Reward Models (WRMs), which learn from real execution results to choose directly which candidate will perform better, without predicting any intermediate outcome. We prove that a selector which predicts execution from the same inputs cannot outperform the best direct selector, that predicted outcomes add an error which can make a likelihood-trained world model prefer the worse program on every instance, and that cross-entropy on executed winners drives a WRM toward the optimum. Our WRM, ForeCritic, adapts a 9B typed decision model to 5k executed program pairs. On 12,438 held-out pairs from 26 ML tasks, it picks the better program 79.4% of the time, while general-purpose LLM judges reach 53--62%, and its probabilities are calibrated. Inside AIDE, ML-Master, and ForeAgent, it cuts mean task time by 4.4--7.5 times while keeping their mean scores within 0.01 or raising them.
• Abstract（参考訳）: 検索ベースの機械学習(ML)エージェントは、候補プログラムを作成し、それらを実行し、ベストを維持することで、ソリューションを改善する。 実行は検索に信頼できるフィードバックを与えるが、単一の実行には数時間かかり、ほとんどの実行はエージェントが破棄するプログラムで終了する。 最近のエージェントは、大きな言語モデルを、それぞれのプログラムがどのように実行されるかを予測する世界モデルとして機能させることで、これらの実行を保存しようとする。 しかし、誤った予測は、検索の偽情報をフィードする。 エージェントが実行結果を予測する必要はない、と我々は主張する。 我々は,実際の実行結果から学習し,中間結果を予測することなく,どの候補がより良く動作するかを直接選択するWorld Reward Models (WRMs)を提案する。 我々は、同一入力から実行を予測するセレクタが、最良の直接セレクタより優れていないこと、予測結果がエラーを追加すること、そして、確率訓練された世界モデルが全てのインスタンスでより悪いプログラムを好むことを証明し、実行された勝者のクロスエントロピーがWRMを最適に駆動することを示す。 我々のWRMであるForeCriticは、9B型決定モデルを5kのプログラムペアに適応させる。 26のMLタスクから12,438組のホールトアウトペアで79.4%のプログラムを選択し、汎用LSM審査員は53--62%に達し、その確率は調整される。 AIDE、ML-Master、ForeAgentでは平均タスクタイムを4.4-7.5倍に削減し、平均スコアは0.01以下に抑えている。

関連論文リスト

• How Much Can Best-of-N Help a World Action Model? Measuring Selectable Headroom and Realizing It in Closed Loop [12.419922816994642]
  テスト時間選択は、候補行動の将来を想像し、最良の行動を実行することによって、一定のポリシーを改善することができることを示す。 本稿では,セレクタが実現可能なヘッドルームを計測し,その測定値を用いてフェールゲートセレクタを構築する。 4つのWAM, 2つのベンチマーク, 10000以上の分岐ロールアウト, および事前登録されたテストにおいて, (i) 標準推定値がネイティブサンプルの選択可能なヘッドルームを上書きし, (ii) 構造化された動作摂動が16ポイントまでの選択可能なヘッドルームを生成することがわかった。
  論文  参考訳（メタデータ） (2026-10-27T13:17:18Z)
• MLE-World: Predicting Machine Learning Experiment Outcomes with a Learned World Model [18.427408376522575]
  MLE-Worldは、プログラムの端末出力を実行せずに予測する世界モデルである。 予測にはトレーニング実行ではなく1回の推論コールがかかるため、MLE-WorldはAI研究エージェントに対して、テスト時間のスケーリングを手頃な価格で実現している。 17のMLE-bench Liteタスクでは、MLE-Worldは77.9%の保留プログラムで実際の端末出力と一致し、41.1%はより大きなプロンプトモデルで一致した。
  論文  参考訳（メタデータ） (2026-10-27T13:01:29Z)
• JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs [67.3059941230326]
  大規模言語モデル(LLM)エージェントは、ソフトウェアを修正し、コンピュータを操作し、顧客にサービスを提供するが、そのハーネス、そしてそれらを実行するプログラムは、すべてのステップで大きなLLMを呼び出す。 ハーネスがこれらの決定を、ほとんど成功しない決定モデルに委譲する方法を問う。 AgentDecisionBenchは独立した質問から決定モデルをテストし、公開ベンチマークとDecisionGym環境上で実行中のエージェントを制御する。 次に、JevAgentHarnessを設計します。これは、エージェント自身の軌道上の各選択のしきい値に適合し、LLMがその下にあることを判断します。
  論文  参考訳（メタデータ） (2026-10-15T07:27:08Z)
• When Low Prediction Error Misleads Planning: Diagnosing Representation, Dynamics, and Decision Failures in Latent World Models [4.378939691762539]
  潜在世界モデルの予測誤差を支配しているコンポーネントは、修復がアクション選択を最も改善するコンポーネントである必要はない。 動作シーケンスを同一の物理スタートから比較し、エンドポイントエラーを候補プールセンターとアクション相対応答に分離する。 これら6つの細胞において、行動関連応答のみを補正するオラクルは、中心のみを補正するものよりも、より優れた物理ランク相関と上位30のエリート品質をもたらす。
  論文  参考訳（メタデータ） (2026-10-04T21:23:48Z)
• PyINE: A Framework for Scalable Elicitation and Oversight via Code Execution [68.74093425009342]
  推論モデルは、コストが安いが誤解を招くショートカットにデフォルトを保ちながら、タスクを解決できる。 PyINEはPythonのインスツルメンテーションプログラムを使ってスケーラブルなエレケーションと監視を行うフレームワークである。 PyINE-v1は100万近い決定論的実行トレースから構築された最初のリリースです。
  論文  参考訳（メタデータ） (2026-10-03T20:03:43Z)
• Discriminative World Models for Web Agents [52.31107486410659]
  最近のWebエージェントは、テストタイムアクションの選択に世界モデルを使用し、候補アクションをサンプリングし、結果のWeb状態を予測し、ランキングモデルまたはプロセスリワードモデル(PRM)でランキングする。 予測状態マッチング(英: predict-state matching)は、予測された表現が真の結果状態と、代替行動によって到達した状態とを区別しなければならない訓練目的である。 提案手法は,WebPRMBench上でのPRMスタイルのアクションランキングを改善する。
  論文  参考訳（メタデータ） (2026-09-02T17:59:40Z)
• AI Research Preference Models [87.14303218008381]
  研究エージェントは、独自の機械学習実験を提案し、実装し、評価することができる。 フロンティア作業の進行は コストで妨げられています 我々は、複数の候補ソリューションのどれが実行価値が最も高いかを予測するAI Research Preference Models(RPM)を紹介する。
  論文  参考訳（メタデータ） (2026-08-14T04:20:37Z)
• Reinforcement Learning for Machine Learning Engineering Agents [52.03168614623642]
  強化学習によって改善される弱いモデルによって支援されるエージェントは、はるかに大きいが静的モデルによって支援されるエージェントよりも優れていることを示す。 分散非同期RLフレームワークにおいて,高コストかつ高利回りな動作を増幅するための時間依存性の勾配更新を提案する。 また,早期に失敗するプログラムとほぼ正しくないプログラムを区別し,部分クレジットを提供する環境機器を提案する。
  論文  参考訳（メタデータ） (2025-09-01T18:04:10Z)
• Fault-Aware Neural Code Rankers [64.41888054066861]
  サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。 我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-06-04T22:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。