論文の概要: Before the Rollout Ends: Early Terminal Reward Prediction for Long-horizon Coding Agents

• arxiv url: http://arxiv.org/abs/2609.31995v1
• Date: Fri, 25 Sep 2026 20:53:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 04:02:25.015573
• Title: Before the Rollout Ends: Early Terminal Reward Prediction for Long-horizon Coding Agents
• Title（参考訳）: ロールアウト終了前:長軸符号化剤の早期終端後退予測
• Abstract要約: 長距離符号化エージェントは、高価なツールコールのシーケンスを完了した後のみ、検証可能な報酬を受け取る。 これは推論コストを増大させ、早期の誤った仮説を増幅し、スパース終末報酬と不安定なトレーニングにつながる可能性がある。 本稿では,行動証拠から終末報酬を予測するContextual Early Reward (CER)を紹介した。
• 参考スコア（独自算出の注目度）: 65.21544643456632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon coding agents receive verifiable rewards only after completing expensive sequences of tool calls. This increases inference cost, amplifies early wrong hypotheses, and can lead to sparse terminal reward and unstable training. We introduce Contextual Early Reward (CER), which predicts terminal reward through behavioral evidence in a trajectory prefix. CER synthesizes adaptive rubrics specific to the current task and stage through experiences summarized from related historical tasks. In test-time scaling on SWE-bench Verified, CER improves RM@8 over the strongest baseline by 4.2 percentage points (pp) on Nemotron 3 Ultra and 2.0 pp on Qwen 3.6 27B; on Nemotron, it takes only 15.3% tokens to match the best baseline performance. In RL training experiments, CER exceeds full-rollout TMax by 1.9 pp while using 52.7% fewer online policy-and-judge tokens. Together, CER provides an interpretable, efficient, and dense evaluation method for long-horizon coding agents.
• Abstract（参考訳）: 長距離符号化エージェントは、高価なツールコールのシーケンスを完了した後のみ、検証可能な報酬を受け取る。 これは推論コストを増大させ、早期の誤った仮説を増幅し、スパース終末報酬と不安定なトレーニングにつながる可能性がある。 本稿では,行動証拠から終末報酬を予測するContextual Early Reward (CER)を紹介した。 CERは、関連する歴史的タスクから要約された経験を通じて、現在のタスクとステージに特有の適応的なルーリックを合成する。 SWE-bench Verifiedの試験時間スケーリングでは、CERはRM@8を最も高いベースラインよりも4.2ポイント(pp)向上し、Nemotron 3 UltraとQwen 3.6 27Bで2.0pp、Nemotronでは15.3%のトークンで最高のベースラインのパフォーマンスにマッチする。 RLトレーニング実験では、CERはフルロールアウトのTMaxを1.9ppで上回り、52.7%のオンラインポリシ・アンド・ジャッジトークンを使用する。 CERは、長軸符号化エージェントの解釈可能で効率的で高密度な評価方法を提供する。

関連論文リスト

• SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness [55.660824003457115]
  RSIにインスパイアされたアプローチをハーネス層に導入し、多数の多様な環境にまたがって自動検索ループをスケールして、ハーネスをロールアウトします。 4つのメカニズムが選択を乗り越え、SoL-Piを形成し、アクションの実行、コンテキストのコンパクト化、監視処理、デリゲートされた読み込みを行う。 推定時給は、ネイティブのコーデックスやクロードコードと比べて8.75ドルから13.50ドル、Piと比較して4.36ドルから5.71ドルである。
  論文  参考訳（メタデータ） (2026-09-17T14:58:29Z)
• Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models [66.32132912853372]
  Diffusion Large Language Models (dLLMs) は自己回帰型言語モデルの競合代替として登場した。 本研究では,中間エントロピー位置を有望な候補ピボットとして求める訓練自由復号法であるRipple-Pivot Search (RPS)を提案する。 RPSは、生成品質を維持しながら標準デコーダの4-10$times$wall-clockスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上させる。
  論文  参考訳（メタデータ） (2026-08-12T07:32:29Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• SCOPE-RL: Optimizing Reasoning Paths Before and After Success [15.079558450636592]
  SCOPE-RLは、検証可能な報酬を伴う強化学習のフレームワークである。 結果のみのGRPOよりも平均精度を最大11.2pp向上させる。 結果のみのGRPOよりも、推論トークンを最大27.1%削減する。
  論文  参考訳（メタデータ） (2026-07-13T12:56:28Z)
• Rollout Pass-Rate Control: Steering Binary-Reward RL Toward Its Most Informative Regime [28.346931878148524]
  Prefix Sampling (PS)は、自己生成した軌跡の接頭辞を再生し、スキュードグループをこの体制に向けて操る。 PSは評価変数のベースラインのハイスコア状態に達し、2.01xと1.55xのエンドツーエンドのウォールクロックスピードアップを提供する。 AIME 2025は4Bと8Bで同じパスレート制御パターンを示した。
  論文  参考訳（メタデータ） (2026-05-06T16:44:38Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• DLER: Doing Length pEnalty Right - Incentivizing More Intelligence per Token via Reinforcement Learning [134.03095505580276]
  Doing Length pEnalty Right (DLER)は、バッチワイド報酬正規化、高いクリッピング、ダイナミックサンプリング、単純なトランケーション長ペナルティを組み合わせたトレーニングレシピである。 DLERは最先端の精度-効率のトレードオフを実現し、出力長を70%以上削減し、以前のベースライン精度をすべて上回っている。
  論文  参考訳（メタデータ） (2025-10-16T20:05:57Z)
• Explore-Execute Chain: Towards an Efficient Structured Reasoning Paradigm [8.405729585427226]
  Chain-of-Thought(CoT)とその変種は、大規模言語モデル(LLM)の推論能力を著しく向上させた。 E2C$(Explore-Execute Chain)は、推論を2つの異なるフェーズに分離する構造化推論フレームワークである。
  論文  参考訳（メタデータ） (2025-09-28T15:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。