論文の概要: Reward Engine: Reward-Centric Self-Evolution for Open-Ended Tool Agents

• arxiv url: http://arxiv.org/abs/2610.22915v1
• Date: Fri, 16 Oct 2026 04:25:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.763646
• Title: Reward Engine: Reward-Centric Self-Evolution for Open-Ended Tool Agents
• Title（参考訳）: Reward Engine: Reward-Centric Self-Evolution for Open-Ended Tool Agents
• Abstract要約: 自己モチベーションのある学生のように、まずは成功に必要なものを探し出し、次にそれに向けて最適化するReward Engineを紹介します。 凍結されたRewardPackはエージェントに修正と出力の選択を誘導し、強化学習の報酬として機能する。 WorkBuddy Bench OfficeとClaw-Evalでは、構築された報酬はベンチマークグレーダーにほぼ一致し、82.3%と80.5%の候補ペアの注文を逆転させることはなかった。
• 参考スコア（独自算出の注目度）: 11.560099501530118
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-ended tool agents can complete the same objective through different tool paths, and their quality depends jointly on the interaction trace, environment state, and final artifacts, so such tasks rarely admit an executable ground-truth reward. The central challenge is therefore to construct a reward from existing experience that exposes the current policy's failures while remaining stationary during optimization. We introduce Reward Engine, which, like a self-motivated student, first works out what success requires and then optimizes toward it. From the task and initial trajectories, it builds a RewardPack of testcases for required correctness and rubrics for graded quality, each executed as a check that returns a judgment with evidence. The frozen RewardPack then guides the agent to revise and select its outputs, and can also serve as a reward for reinforcement learning. On WorkBuddy Bench Office and Claw-Eval, the constructed reward largely agrees with the benchmark graders, not reversing their ordering on 82.3\% and 80.5\% of candidate pairs. Used to revise executions, it raises three-run consistency ($\mathrm{Pass}^{3}$) over Baseline from 45.0\% to 54.0\% and from 78.4\% to 83.7\%.
• Abstract（参考訳）: オープンなツールエージェントは異なるツールパスを通じて同じ目的を達成でき、その品質は相互作用のトレース、環境状態、最終成果物に大きく依存する。 したがって、中央の課題は、最適化中に静止状態のまま、現在の方針の失敗を露呈する既存の経験から報酬を構築することである。 自己モチベーションのある学生のように、まずは成功に必要なものを探し出し、次にそれに向けて最適化します。 タスクと最初のトラジェクトリから、要求された正確性とグレードされた品質のためのルーリックのためのRewardPackをビルドし、それぞれがチェックとして実行され、エビデンスのある判断を返す。 凍結されたRewardPackはエージェントに修正と出力の選択を誘導し、強化学習の報酬として機能する。 WorkBuddy Bench OfficeとClaw-Evalでは、構築された報酬はベンチマークグレーダーと大きく一致し、82.3\%と80.5\%のオーダーを逆転しない。 実行を更新するために使用され、Baseline上で3回の一貫性(\mathrm{Pass}^{3}$)を45.0\%から54.0\%に、78.4\%から83.7\%に引き上げる。

関連論文リスト

• Explorer-Zero: Improving Self-Play for Long-Horizon Tasks with Decomposable Verifiable Rewards [16.768499457828494]
  強化学習を伴う長期的対話型タスクのLLMエージェントは通常、人間による注釈付きタスクと信頼性のある検証に依存している。 本研究では,環境相互作用を通じてタスクと細粒度で検証可能な報酬を共同で生成するセルフプレイフレームワークであるExplorer-Zeroを提案する。 我々は,サブタスク報酬が,異なる数のサブタスクを完了した場合に,ロールアウト失敗の崩壊を減少させることを理論的に示す。
  論文  参考訳（メタデータ） (2026-10-14T09:29:31Z)
• LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts [56.21252928632393]
  LoopWAMは、現実世界のロールアウトから直接学習するクローズドループの世界アクションモデルである。 音源依存ノイズサンプリングは行動学習と行動条件付き世界モデリングを統合する。 ビデオトークンとアクショントークンは並列denoisingを通じて相互作用し、学習結果がアクション生成を直接通知する。
  論文  参考訳（メタデータ） (2026-10-13T17:59:56Z)
• Recursive Environment Scaling for General Long-Horizon Agents [18.355616417014097]
  環境スケーリングは、コアタスクの目標を固定しながらエージェント-ベンチマークの困難を増大させる。 提案者は、情報アクセス、リソース関係、実行依存性を変更する。 3つのベンチマークによる294の初期タスクの実験では、Claw-Eval-Liveの57.14--77.14ポイントが減少し、6つの評価モデル全体のタスク成功率が低下した。
  論文  参考訳（メタデータ） (2026-10-12T08:39:40Z)
• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• Scale and Selection: What Makes Automatic Harness Evolution Work for Visual-Interface Robot Agents [0.9961969009329336]
  市販の符号化エージェントのハーネスは,他のエージェントによって自動的に改善可能であることを示す。 単一ロールアウトはノイズの多いバイナリ結果なので、1ラウンドあたりのロールアウトが少なく、運良くリビジョンを推進できます。 修正されるたびに、不確定な編集が蓄積されると、10ラウンド以内にパフォーマンスが下向きにドリフトする。
  論文  参考訳（メタデータ） (2026-09-30T08:46:38Z)
• BenchShield: Formal Model-Backed Instrumentation for Reward Integrity in LLM-Agent Evaluation Infrastructure [47.61632934139226]
  LMエージェントベンチマークは、ますますインタラクティブな評価基盤として機能する。 この対話性は、評価を報酬ハッキングに脆弱にする。 本稿では、報酬整合性のためのモデル支援インスツルメンテーション層であるBenchShieldについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T03:10:58Z)
• PROOF-Gen: From Optimized Data to Better Distillation [6.158612515104146]
  ツール呼び出しエージェントを駆動するポストトレーニングパイプラインは、毎日または毎週のケイデンスでこのステージを再実行し、フロンティアと教師の費用を各サイクルに支払う。 2ベンチでは、教員試験の57%が失敗し、その3分の2がほぼミスである。 本稿では,これらの故障からゴールデントラジェクトリを回復するPROOF-Genを,シナリオごとのプロンプト最適化により導入する。
  論文  参考訳（メタデータ） (2026-08-24T23:33:56Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• TIER: Trajectory-Invariant Execution Rewards for Multi-Step Tool Composition [62.56752617853322]
  アウトカムベースの報酬はスパースフィードバックのみを提供するが、トラジェクトリによる報酬は注釈付き参照ソリューションに依存している。 本稿では,関数スキーマと実行時実行を直接管理する報奨フレームワークであるtrajectory-Invariant Execution Rewardsを提案する。
  論文  参考訳（メタデータ） (2026-05-16T03:47:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。