論文の概要: Explorer-Zero: Improving Self-Play for Long-Horizon Tasks with Decomposable Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2610.19868v1
• Date: Wed, 14 Oct 2026 09:29:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.070078
• Title: Explorer-Zero: Improving Self-Play for Long-Horizon Tasks with Decomposable Verifiable Rewards
• Title（参考訳）: Explorer-Zero: 分解可能な検証リワードによる長期タスクのセルフプレイの改善
• Abstract要約: 強化学習を伴う長期的対話型タスクのLLMエージェントは通常、人間による注釈付きタスクと信頼性のある検証に依存している。 本研究では,環境相互作用を通じてタスクと細粒度で検証可能な報酬を共同で生成するセルフプレイフレームワークであるExplorer-Zeroを提案する。 我々は,サブタスク報酬が,異なる数のサブタスクを完了した場合に,ロールアウト失敗の崩壊を減少させることを理論的に示す。
• 参考スコア（独自算出の注目度）: 16.768499457828494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training LLM agents on long-horizon interactive tasks with reinforcement learning typically relies on human-annotated tasks and reliable verification, both expensive to construct for stateful environments. Self-play offers an alternative, but must generate achievable, compositional tasks and provide feedback beyond binary outcomes. We propose Explorer-Zero, a self-play framework that jointly generates tasks and fine-grained, verifiable rewards through environment interaction. A learned proposer explores the environment, constructs tasks, and records intermediate and final states as verification targets. These checkpoints reward partial completion, while alternating proposer--solver training adapts the generated curriculum. We show theoretically that subtask rewards reduce collapse among unsuccessful rollouts when they complete different numbers of subtasks. Without human-annotated training tasks, Explorer-Zero outperforms the evaluated self-play baselines across ALFWorld, ScienceWorld, and AppWorld; on AppWorld, our 30B agent reaches 59.67% task success, approaching 62.65% for RL on human-annotated tasks. Further analyses support task-relevant composition and benefits on complex tasks, while self-play initialization improves subsequent human-data RL across all three benchmarks.
• Abstract（参考訳）: 強化学習を用いた長期的対話型タスクにおけるLLMエージェントの訓練は、一般に人間による注釈付きタスクと信頼性のある検証に依存しており、どちらもステートフルな環境を構築するのに高価である。 セルフプレイは代替手段を提供するが、達成可能な構成的なタスクを生成し、バイナリ結果以上のフィードバックを提供する必要がある。 本研究では,環境相互作用を通じてタスクと細粒度で検証可能な報酬を共同で生成するセルフプレイフレームワークであるExplorer-Zeroを提案する。 学習した提案者は、環境を探索し、タスクを構築し、中間状態と最終状態を検証対象として記録する。 これらのチェックポイントは部分的に完了し、交互にプロジェクタ-ソルバトレーニングは生成されたカリキュラムに適応する。 我々は,サブタスク報酬が,異なる数のサブタスクを完了した場合に,ロールアウト失敗の崩壊を減少させることを理論的に示す。 ALFWorld、ScienceWorld、AppWorldで評価されたセルフプレイベースラインよりも優れており、AppWorldでは、30Bエージェントが59.67%のタスク成功に達し、人間アノテーションタスクでRLが62.65%に近づいた。 さらに、タスク関連合成と複雑なタスクに対する利点をサポートし、セルフプレイ初期化は3つのベンチマークすべてでその後の人間データRLを改善する。

関連論文リスト

• RSIgen: Reciprocal Self-Improvement for Agentic Visual Generation [76.13535986114067]
  本稿では,タスク中心の相互改善フレームワークであるRSIgenを紹介する。 Dynamic Responsibility Routing (DRR)は、エビデンス、インプット、サポートされたアクションにマッチした介入を使用して、受講者を選別し、互換性のあるトレーニングターゲットを構築する。 BAGEL、Qwen-Image、Wan-Image-7B全体で、RSIgenはAgengen-Bench Full overall 9を3.2--3.3ポイント改善し、3サイクルのSearchGenをアクションコストで適応させた。
  論文  参考訳（メタデータ） (2026-10-13T16:41:24Z)
• SkillRise: Agentic Reinforcement Learning for Cross-Task Skill Evolution [39.74364990208475]
  大規模な言語モデルエージェントは、しばしば再利用可能なソリューションパターンを共有する、関連するが独立したタスクに遭遇する。 タスク間のスキル学習のための統合強化学習フレームワークであるSkillRiseを紹介する。
  論文  参考訳（メタデータ） (2026-07-29T11:26:33Z)
• Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills [53.15216425100295]
  本稿では,提案者,解決者,スキルコントローラからなる共進化型フレームワークであるスキルセルフプレイ(スキルSP)を紹介する。 プロジェクタは動的にサンプリングされたスキルを前提とした挑戦的なタスクを生成し、ソルバは能力境界を押し上げるための候補ソリューションを探索し、スキルコントローラは実行フィードバックを収集してスキルライブラリを更新および拡張する。 このインタラクティブな共進化は、構造化された検証とオープンな調査の間のギャップを効果的に埋める。
  論文  参考訳（メタデータ） (2026-07-24T17:59:22Z)
• Reward-Zero: Language Embedding Driven Implicit Reward Mechanisms for Reinforcement Learning [17.337313113918043]
  本稿では,汎用的な暗黙報酬機構であるReward-Zeroを紹介する。 自然言語によるタスク記述を、強化学習のための密集した意味的基礎的な進捗信号に変換する。 タスク仕様の埋め込みとエージェントのインタラクションエクスペリエンスから派生した埋め込みを比較することで、Reward-Zeroは連続的に意味的に整合した補完信号を生成する。
  論文  参考訳（メタデータ） (2026-03-10T08:07:49Z)
• SPA-RL: Reinforcing LLM Agents via Stepwise Progress Attribution [9.181156720071547]
  強化学習は、複雑な目標志向のタスクを扱うためのトレーニングエージェントの約束である。 フィードバック信号は通常、タスク全体が完了した後でのみ利用可能である。 我々は、最終報酬を段階的な貢献に分解するステップワイドプログレス属性を提案する。
  論文  参考訳（メタデータ） (2025-05-27T05:21:04Z)
• Subtask-Aware Visual Reward Learning from Segmented Demonstrations [97.80917991633248]
  本稿では,新しい報酬学習フレームワークであるReward Learning from Demonstration with Demonstrationsを紹介する。 我々は,映像セグメントとそれに対応するサブタスクに条件付けされた高密度報酬関数を訓練し,地道報酬信号との整合性を確保する。 実験の結果,REDSはメタワールドにおける複雑なロボット操作タスクのベースライン手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-28T01:25:37Z)
• Spatial Reasoning and Planning for Deep Embodied Agents [2.7195102129095003]
  この論文は空間的推論と計画タスクのためのデータ駆動手法の開発を探求する。 学習効率、解釈可能性、新しいシナリオ間の伝達可能性の向上に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-28T23:05:56Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Planning to Explore via Self-Supervised World Models [120.31359262226758]
  Plan2Exploreは自己監督型強化学習エージェントである。 我々は、自己監督型探索と、新しいタスクへの迅速な適応に対する新しいアプローチを提案する。 Plan2Exploreは、訓練の監督やタスク固有の相互作用がなければ、自己監督型の探査方法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-12T17:59:45Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。