論文の概要: R$^2$Orch: Recursive Self-Improvement for Agent Orchestration via Self-Play within a Skill-Internalization Loop

• arxiv url: http://arxiv.org/abs/2610.22740v1
• Date: Thu, 15 Oct 2026 23:21:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.69735
• Title: R$^2$Orch: Recursive Self-Improvement for Agent Orchestration via Self-Play within a Skill-Internalization Loop
• Title（参考訳）: R$^2$Orch: スキルインターナライゼーションループ内でのセルフプレイによるエージェントオーケストレーションに対する再帰的自己改善
• Abstract要約: 再帰的セルフプレイオーケストレーションの新しいパラダイムであるR$2$Orchを提案する。 Recursive Learnabilityは、ロールアウトが相変わらず異なる結果に到達しているタスクを選択するために、Proposerに報酬を与えるトレーニング目標である。 また,自己演奏において制御された評価を行えば,外部ループが各スキルを取り出すと,オーケストレータがそれなしでも演奏できることが示されるスキル・ウィズドラワルを提案する。
• 参考スコア（独自算出の注目度）: 22.128836959642495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, agentic orchestration has been widely applied to solve complex human tasks. However, existing orchestration learning still faces key challenges, including hand-designed curricula, advantage collapse when a task's rollouts all reach the same outcome, and unreliable evaluation signals that judge each skill by one noisy score. To address these challenges, we propose R$^2$Orch, a new paradigm of Recursive Self-Play Orchestration: an inner loop of self-play that improves the orchestrator on self-chosen tasks, and an outer loop that improves how the inner loop improves. To support this paradigm, we introduce Recursive Learnability, a training objective that rewards a Proposer for choosing tasks whose rollouts keep reaching different outcomes as skills are withdrawn. Built on this objective, we further propose Skill Withdrawal, in which the outer loop withdraws each skill once a controlled evaluation within self-play shows that the orchestrator performs as well without it. Moreover, the two loops form one cycle: failures are distilled into skills, skills into parameters, and withdrawals lead the Proposer to new failures, so the orchestrator moves toward zero-skill deployment. Experimental results on twelve datasets show that R$^2$Orch consistently outperforms baselines across question answering, math, code, and interactive tasks.
• Abstract（参考訳）: 近年,複雑なヒューマンタスクの解決にエージェントオーケストレーションが広く応用されている。 しかし、既存のオーケストレーション学習は、手書きのカリキュラム、タスクのロールアウトがすべて同じ結果に達したときのアドバンテージ崩壊、各スキルを1つのノイズスコアで判断する信頼性の低い評価信号など、依然として重要な課題に直面している。 これらの課題に対処するため、我々はR$^2$Orchを提案する。これは再帰的自己演奏オーケストレーションの新しいパラダイムであり、自己選択タスクのオーケストレータを改善する自己演奏の内ループであり、内部ループがどのように改善されるかを改善する外ループである。 このパラダイムをサポートするために,ロールアウトが異なる結果に到達し続けるタスクを選択するために,プロポーサに報酬を与えるトレーニング目標であるRecursive Learnabilityを導入する。 この目的に基づいて構築されたスキル・ウィズドラル(Skill Withdrawal)は,自己演奏において制御された評価を行えば,外部ループが各スキルを取り出すことによって,オーケストラがそれなしでも演奏できることを示す。 さらに、2つのループは1つのサイクルを形成している。障害はスキルに蒸留され、スキルはパラメータに抽出され、離脱はプロポーラを新たな障害に導くため、オーケストレータはゼロスキルデプロイメントへと進む。 12のデータセットの実験結果から、R$^2$Orchは質問応答、数学、コード、対話的タスクのベースラインを一貫して上回ることがわかった。

関連論文リスト

• InterEvolve: Test-Time Evolution of Reward Programs for Humanoid Loco-Manipulation [54.00038257772902]
  ヒューマノイド・ロコ・マニピュレーションの試験時間進化について検討した。 私たちの重要な洞察は、ワイドコントローラが、新しいタスクに必要な能力の多くをすでに持っていることです。 InterEvolveはこのインターフェースを2つのコンポーネントで実現している。
  論文  参考訳（メタデータ） (2026-10-01T17:59:40Z)
• EvoSteer: Online Self-Evolving Graph Orchestration via Reference-Anchored Credit Assignment [21.282842653023277]
  EvoSteerは、オンライン自己進化グラフオーケストレーションの新しいパラダイムである。 実行中のチームを構築し、実行可能なものの、実行機能や学習した価値見積からのステップを修復する。 以上の結果から,EvoSteerは質問応答,数学的推論,コード生成,対話的意思決定において,ベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2026-09-29T23:37:53Z)
• Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills [53.15216425100295]
  本稿では,提案者,解決者,スキルコントローラからなる共進化型フレームワークであるスキルセルフプレイ(スキルSP)を紹介する。 プロジェクタは動的にサンプリングされたスキルを前提とした挑戦的なタスクを生成し、ソルバは能力境界を押し上げるための候補ソリューションを探索し、スキルコントローラは実行フィードバックを収集してスキルライブラリを更新および拡張する。 このインタラクティブな共進化は、構造化された検証とオープンな調査の間のギャップを効果的に埋める。
  論文  参考訳（メタデータ） (2026-07-24T17:59:22Z)
• Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops [7.159691098846351]
  この文学は、根本的に異なる野望を混同した語彙(セルフ・リファイン(self-refine)、「セルフ・リワード(self-reward)」、「セルフ・プレイ(self-play)」、「セルフ・エボレーヴ(self-evolve)」(self-evolve))で説明される。 我々は,2つの軸に沿って1,250のarXiv論文を調査した。
  論文  参考訳（メタデータ） (2026-07-08T17:19:50Z)
• SkillFlow: Flow-Driven Recursive Skill Evolution for Agentic Orchestration [40.79922760459963]
  SkillFlowは、トレーニング可能なスーパーバイザをエージェントとして、動的スキルオーケストレーションを備えた構造化環境として、フローベースのフレームワークである。 これらのフロー診断に基づいて、スキル進化メカニズムは、いつ進化するか、どのスキルを創り出すか、どこで意思決定のギャップがあるかを決定する。
  論文  参考訳（メタデータ） (2026-05-13T20:14:44Z)
• SkillOrchestra: Learning to Route Agents via Skill Transfer [65.50924963973286]
  スキルを意識したオーケストレーションのためのフレームワークであるSkillOrchestraを紹介します。 SkillOrchestraは、実行経験からきめ細かいスキルを学び、それらのスキルの下でエージェント固有の能力とコストをモデル化する。 デプロイメントでは、オーケストレータが現在のインタラクションのスキル要件を推測し、明示的なパフォーマンスコストトレードオフの下でそれらを最も満足するエージェントを選択する。
  論文  参考訳（メタデータ） (2026-02-23T10:17:25Z)
• R-Diverse: Mitigating Diversity Illusion in Self-Play LLM Training [65.13759782915164]
  反復的なチャレンジャーブートストラップループによる自己再生LDM推論。 R-Diverseは、より多くのイテレーション以上のゲインを持続し、常に以前のセルフプレイメソッドより優れています。
  論文  参考訳（メタデータ） (2026-02-13T17:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。