論文の概要: Self-Evaluating Recursive Agents

• arxiv url: http://arxiv.org/abs/2610.04902v1
• Date: Sun, 04 Oct 2026 03:28:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 08:08:10.790933
• Title: Self-Evaluating Recursive Agents
• Title（参考訳）: 自己評価型再帰剤
• Abstract要約: 再帰的な言語モデルエージェントはタスクを分解し、同じポリシーの子供インスタンスにサブタスクを委譲し、作業ツリーを形成する。 既存の方法は検証器や判定器で各ノードをスコアリングする。 本稿では,SERA(Self-Evaluating Recursive Agents)を提案する。
• 参考スコア（独自算出の注目度）: 11.617944642614935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recursive language-model agents decompose tasks and delegate subtasks to child instances of the same policy, forming a tree of work. Training them, however, is hard: the final outcome is verifiable, but the self-invented intermediate subtasks are numerous and carry no ground truth. Existing methods score each node with a verifier or judge, which is costly at scale and blind to decomposition quality. We argue that a recursive agent must learn three coupled capabilities within one set of weights: decomposing problems into subtasks, solving them, and evaluating the outcomes, each requiring its own training signal. SERA (Self-Evaluating Recursive Agents) turns evaluation into a learned capability of the policy itself. Before delegating, the parent writes a rubric of weighted success criteria for each child subtask; a ranking objective against verified outcomes then trains rubric generation so that the criteria track genuine subtask success. In addition, a complementary leaf-coverage signal provides direct credit for task decomposition. Our central finding is that \emph{training} the policy to generate aligned rubrics is what drives the gains: because the same weights both evaluate and execute, learning to judge subtasks sharpens the agent's ability to solve them. Notably, external supervision is also reduced: the judge is consulted only to train the rubric generator, while solving is trained against the agent's own rubric scores, which outperform direct use of the judge. Beyond training, the learned rubric doubles as an inference-time selector for tree search. On TextCraft-Synth and TextWorld-Sync, SERA improves over strong recursive-agent baselines by 5.38 and 13.14 points on average, and rubric-guided tree search at inference adds a further 2.43 points on TextWorld-Sync.
• Abstract（参考訳）: 再帰的な言語モデルエージェントはタスクを分解し、同じポリシーの子供インスタンスにサブタスクを委譲し、作業ツリーを形成する。 しかし、これらを訓練することは難しい:最終的な結果は検証可能であるが、自己発明された中間のサブタスクは多数あり、根底的な真実は持たない。 既存の方法は検証器や判定器で各ノードをスコアリングする。 再帰的エージェントは、問題をサブタスクに分解し、解決し、結果を評価し、それぞれ独自のトレーニング信号を必要とする。 SERA(Self-Evaluating Recursive Agents)は、評価をポリシー自体の学習能力に変える。 親は、子サブタスク毎に重み付けされた成功基準のルーブリックを書き、検証結果に対するランク付け目的は、その基準が真のサブタスクの成功を追跡するように、ルーブリック生成を訓練する。 さらに、補完的な葉被覆信号は、タスク分解のための直接クレジットを提供する。 我々の中心的な発見は、アライメントされたルーリックを生成するためのポリシーである'emph{training} が利得を駆動していることである:同じ重みが評価と実行の両方で行われ、サブタスクを判断する学習はエージェントの解決能力を高める。 特に、外部の監督も減らされ、裁判官はルーリックジェネレータを訓練するためにのみ相談され、一方、解決はエージェント自身のルーリックスコアに対して訓練され、裁判官の直接の使用よりも優れる。 学習したルーブリックは、トレーニング以外にも、ツリー検索のための推論時間セレクタとして二重化されている。 TextCraft-SynthとTextWorld-Syncでは、SERAは強力な再帰的エージェントベースラインを平均5.38と13.14ポイント改善し、推論時にルーリック誘導木探索はTextWorld-Syncにさらに2.43ポイントを追加している。

関連論文リスト

• AutoDataBench: Can Agents Write the Data That Feeds the Self-Improvement Loop? [62.41600992806851]
  エージェントがそのようなタスクを書く能力の現在の評価は、エージェントが生成したもののトレーニング後にモデルがどのように機能するかを測定する。 既存の評価では、個々のタスクがデータパイプラインの受け入れ基準を満たすかどうかを問わない。 AutoDataBenchは、自律データ合成のためのエージェントの能力を直接測定する。
  論文  参考訳（メタデータ） (2026-09-28T12:24:21Z)
• UnifiedPlayers: Enhance Tool-Integrated Reasoning in Agentic Reinforcement Learning [10.82443398666203]
  自己進化的手法は、ツール使用エージェントが独自のトレーニングデータを生成することによって、人間に注釈をつけた軌道の必要性を減らす。 計画、実行、評価を共同で適応させることは、有望な代替手段を提供するが、基本的な調整課題を導入する。 この課題に対処するために、textbfUnifiedPlayers、タスクを生成するPlanning Player、Pythonツールコールでマルチターントラジェクトリを生成するExecution Player、実行可能なバリデーションを構築するAudiment Playerという協調的なフレームワークを使います。
  論文  参考訳（メタデータ） (2026-09-17T11:49:31Z)
• Iris: Climbing to the Search Frontier [21.066541702697112]
  我々は35B-A3Bスケールと397B-A17Bスケールでトレーニングされた2つの検索エージェントであるIris-miniとIris-proを紹介する。
  論文  参考訳（メタデータ） (2026-09-03T17:51:01Z)
• What is Missing from AI Post-Training AI: An Empirical Analysis [74.56398070411755]
  この図は実行レベル能力と戦略レベル能力という2つの異なる能力を混在させています。 エージェントのトレーニング戦略は、さまざまなタスクにおいて、最初からロックインされていることが分かりました。 次に,欠席経験,指導の欠如,推論の不十分な3つの自然な説明と介入のエスカレートについて検討した。
  論文  参考訳（メタデータ） (2026-08-19T16:17:39Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• A Rubric-Supervised Critic from Sparse Real-World Outcomes [87.11204512676193]
  現実のコーディングエージェントは、成功信号がノイズが多く、遅延し、スパースであるループで人間と動作します。 本稿では,RLに基づくトレーニングや推論時間スケーリングの報奨モデルとして,スパースとノイズの相互作用データから"批判的"モデルを学習するプロセスを提案する。
  論文  参考訳（メタデータ） (2026-03-04T07:23:54Z)
• Self-Challenging Language Model Agents [98.62637336505242]
  本稿では,エージェントが自ら生成する高品質なタスクについて,エージェントを訓練するためのセルフチェンジフレームワークを提案する。 このフレームワークは、Llama-3.1-8B-Instructの2倍の改善を実現している。
  論文  参考訳（メタデータ） (2025-06-02T14:23:33Z)
• Robust Subtask Learning for Compositional Generalization [20.54144051436337]
  我々は、どんなタスクでも実行できるように、サブタスクポリシーをトレーニングする問題に焦点を合わせます。 我々は、平均的なケースのパフォーマンスとは対照的に、すべてのタスクで最悪のケースのパフォーマンスを最大化することを目指している。
  論文  参考訳（メタデータ） (2023-02-06T18:19:25Z)
• Hierarchical Reinforcement Learning as a Model of Human Task Interleaving [60.95424607008241]
  我々は、強化学習によって駆動される監督制御の階層モデルを開発する。 このモデルは、タスクインターリービングの既知の経験的効果を再現する。 その結果、階層的RLがタスクインターリービングのもっともらしいモデルとして支持された。
  論文  参考訳（メタデータ） (2020-01-04T17:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。