論文の概要: JET: Judge-Guided Evolution at Test Time for Agent Programs
- arxiv url: http://arxiv.org/abs/2609.34126v1
- Date: Mon, 28 Sep 2026 02:04:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 06:44:06.995965
- Title: JET: Judge-Guided Evolution at Test Time for Agent Programs
- Title（参考訳）: JET:エージェントプログラムのテスト時間における判断誘導進化
- Abstract要約: 試験時間における判断誘導進化(JET)は、ラベル付きソーストラジェクトリ上で実行可能な判断を進化させ、それを凍結し、ターゲット側のプログラム進化を誘導するために転送する。
JETは、未進化のプログラム(コールドスタート)から進化が始まると、固定ルーブリックガイダンスよりも平均報酬が約13%高くなり、ソースタスク(保存スタート)ですでに最適化されたプログラムから始まると4%高くなります。
分析は、進化したコードで有用な報酬予測ロジックを特定し、より良い最終選択だけで利得を説明できないことを示す。
- 参考スコア（独自算出の注目度）: 13.234793901385524
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An agent's executable program governs how it uses tools, processes observations, and responds to failures. Evolving this program at test time can help adaptation, but deciding which changes to retain is difficult when true rewards are unavailable. Execution traces provide evidence of agent behavior, yet interpreting that evidence requires a judge that remains useful as tasks and candidate programs change. We introduce Judge-Guided Evolution at Test Time (JET), which evolves an executable judge on labeled source trajectories, then freezes and transfers it to guide target-side program evolution. The judge supplies scores and diagnostic feedback without target evaluator access or model-weight updates. On unseen WebShop tasks, JET achieves approximately 13% higher mean reward than fixed-rubric guidance when evolution begins from an unevolved program (cold start) and 4% higher when it begins from one already optimized on source tasks (warm start), with a 36% relative improvement in cold-start exact success. An exact-judge control on PushT, where the judge reconstructs the scoring rule from observations, shows that without judge error, program search becomes the bottleneck. Analyses identify useful reward-prediction logic in the evolved code and show that better final selection alone cannot explain the gains. These results support executable judge transfer for program adaptation under evaluator-preserving task shifts.
- Abstract（参考訳）: エージェントの実行可能なプログラムは、ツールの使用方法、観察の処理、障害への応答を管理する。
このプログラムをテスト時に展開することは適応に役立ちますが、真の報酬が得られない場合、どの変更を保持するかを決めるのは難しいです。
実行トレースは、エージェントの行動の証拠を提供するが、その証拠には、タスクや候補プログラムの変更に役立ち続ける裁判官が必要であると解釈する。
実験時間における判断誘導進化 (JET) を紹介し, ラベル付きソーストラジェクトリ上で実行可能な判断を進化させ, 凍結し, ターゲット側プログラムの進化を誘導する。
審査員は、目標評価者アクセスやモデルウェイト更新を必要とせず、スコアと診断フィードバックを提供する。
未確認のWebShopタスクでは、未解決のプログラム(コールドスタート)から進化が始まり、ソースタスク(ウォームスタート)にすでに最適化されたタスクから始まると、JETは定型的なガイダンスよりも約13%高い平均報酬を達成し、コールドスタートの正確な成功は36%改善した。
審査員が観察からスコアリングルールを再構築するPushTの正確なジャッジ制御は、判断エラーがなければ、プログラム検索がボトルネックとなることを示す。
分析は、進化したコードで有用な報酬予測ロジックを特定し、より良い最終選択だけで利得を説明できないことを示す。
これらの結果は、評価器保存タスクシフト下でのプログラム適応のための実行可能な判断伝達をサポートする。
関連論文リスト
- RRSI: Regularized Recursive Self-Improvement of Agent Harnesses [76.77275934611428]
正規化再帰的自己改善型エージェント・ハーネス(RRSI)
本稿では、正規化の原則を取り入れたRRSIを紹介し、進化候補の提案と選択を制約することで自己改善を活用する。
RRSIは5つのアウト・オブ・ディストリビューション・ベンチマークで14.1ポイント、最大4.7ポイントを獲得し、非正規化進化よりも30%少ないポリシートークンで動作するハーネスを生産している。
論文 参考訳（メタデータ） (2026-09-21T17:54:49Z) - Beyond Endpoint Performance: Process-Level Evaluation of Self-Evolving Agents [20.811638832981178]
EvoPathBenchは、アーティファクトレベルの自己進化中の個々の機能を追跡するベンチマークである。
不可解なタスクへの一般化、無関係な学習後の保持、新しいエビデンスへのルール適応の3つの機能をテストする。
論文 参考訳（メタデータ） (2026-09-21T14:28:06Z) - RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。
本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
論文 参考訳（メタデータ） (2026-08-25T08:35:04Z) - SkillTV-Bench: Benchmarking How Well Judges Perform on Skill-Augmented Agentic Execution [9.695442380430157]
LLMエージェントは、ツールの使用や環境相互作用を通じて、より長い水平タスクを実行し、最終応答スコアから完全な実行の検証へと評価をシフトする。
我々はSkillTV-Benchについて紹介する。SkillTV-Benchは、11のドメインにまたがる50のタスクから、681ケースの実際のエージェントトラジェクトリのベンチマークである。
また,再利用可能な判断スキルとして検証知識を外部化するSkillTV-Evolveを提案する。
論文 参考訳（メタデータ） (2026-08-06T03:52:37Z) - Rethinking Self-Evolving Agent Skills: Feedback Dynamics over Multiple Rounds [43.5891705224868]
自己進化型スキルシステムは、基礎となるモデルを変更することなく、実行フィードバックを永続的なスキル更新に変換することでエージェントを改善することを約束する。
5つのベンチマークと3つのモデルで制御された評価フレームワークを提案する。
全体として、永続的なスキルの自己進化は、モデル依存リターンとベンチマーク依存リターンを備えたスパース、バリデーションフィルタリング検索として理解されている。
論文 参考訳（メタデータ） (2026-07-31T04:02:51Z) - OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models [87.08963239083614]
コンピュータ利用エージェント(CUA)はデジタル世界で急速に進歩している。
この分野は、CUA軌道の審査員として、視覚言語モデル(VLM)に変わりつつある。
我々は,CUA軌道上のVLM判定値を評価する,現実的で高品質なベンチマークOSRewardを紹介する。
論文 参考訳（メタデータ） (2026-07-30T17:57:41Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - Bias in the Loop: Auditing LLM-as-a-Judge for Software Engineering [0.0]
大規模な言語モデルは、コードのアーティファクトを評価するために裁判官としてますます使われています。
現在のプラクティスには、信頼性とバイアスの原則的な説明が欠けている。
計測ファーストレンズを用いたLCM-as-a-Judgeの符号化について検討する。
論文 参考訳（メタデータ） (2026-04-18T02:35:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。