論文の概要: ArenaFlow: From Trajectory Ranking to Hierarchical Credit Propagation for Open-Ended Agent RL

• arxiv url: http://arxiv.org/abs/2609.21378v1
• Date: Fri, 18 Sep 2026 06:44:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.883574
• Title: ArenaFlow: From Trajectory Ranking to Hierarchical Credit Propagation for Open-Ended Agent RL
• Title（参考訳）: ArenaFlow: オープンエンディングエージェントRLの軌道ランク付けから階層的クレジットプロパゲーションへ
• Abstract要約: 強化学習は、検証可能な領域における大きな言語モデル(LLM)エージェントを大幅に改善したが、オープンエンドエージェントタスクに適用することは困難である。 エージェント強化学習のための階層的信用伝搬フレームワークであるArenaFlowを提案する。
• 参考スコア（独自算出の注目度）: 83.01251140361684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning has substantially improved large language model (LLM) agents in verifiable domains, but remains difficult to apply to open-ended agent tasks, where solutions are diverse and reliable scalar rewards are hard to obtain. Recent pairwise evaluation methods alleviate reward discrimination collapse by replacing pointwise scoring with relative preferences. However, they still compress rich comparative feedback into a single trajectory-level reward, obscuring decisive intermediate steps and preventing successful behaviors from being consolidated into reusable skills. We propose ArenaFlow, a hierarchical credit propagation framework for open-ended agent reinforcement learning. ArenaFlow leverages tournament-based relative ranking to derive trajectory-level reward signals. Each comparison is further equipped with structured reflective evaluation, which reveals three types of supervision: pivotal success steps, reusable strategy skills, and usage attribution of retrieved skills. At the step level, ArenaFlow propagates trajectory-level advantages to high-confidence pivotal steps according to tournament survival depth, enabling more targeted optimization of local reasoning behaviors. At the skill level, ArenaFlow estimates skill utility from group-level usage attribution and maintains a global skill memory through utility-aware updating, pruning, and retrieval. The resulting high-utility skills further serve as policy priors for future exploration. Extensive experiments validate ArenaFlow's effectiveness on open-ended agent tasks.
• Abstract（参考訳）: 強化学習は、検証可能な領域における大規模言語モデル(LLM)エージェントを大幅に改善したが、ソリューションが多様で信頼性の高いスカラー報酬が得られにくいオープンエンドエージェントタスクに適用することは困難である。 最近のペアワイズ評価手法は、ポイントワイズスコアを相対的な選好に置き換えることで報酬差別の崩壊を軽減する。 しかし、彼らは豊富なフィードバックを1つの軌道レベルの報酬に圧縮し、決定的な中間段階を無視し、成功した行動が再利用可能なスキルに統合されるのを防ぐ。 エージェント強化学習のための階層的信用伝搬フレームワークであるArenaFlowを提案する。 ArenaFlowはトーナメントベースの相対ランキングを利用して、軌道レベルの報酬シグナルを導出する。 それぞれの比較には構造化された反射的評価が備わっており、これは重要な成功ステップ、再利用可能な戦略スキル、検索されたスキルの活用の3つのタイプの監督が示される。 ステップレベルでは、ArenaFlowはトーナメントのサバイバル深さに応じて、高信頼のピボットステップに対する軌道レベルのアドバンテージを伝播し、より標的となるローカルな推論動作の最適化を可能にする。 スキルレベルでは、ArenaFlowはグループレベルの利用属性からスキルユーティリティを推定し、ユーティリティアウェア更新、プルーニング、検索を通じてグローバルなスキルメモリを維持する。 結果として得られる高い実用能力は、将来の探検のための政策の先駆けとして機能する。 大規模な実験は、オープンエンドエージェントタスクにおけるArenaFlowの有効性を検証する。

関連論文リスト

• Reasoning Arena: Trace Tournaments When Verifiable Rewards Fall Short [51.667769734342635]
  検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力向上のための主要なパラダイムとなっている。 本研究では,非多変量報酬群を判定システムにルーティングする適応学習フレームワークであるReasoning Arenaを提案する。 我々は、Reasoning Arenaが、競争数学やコーディングベンチマークにおいて、RLVRベースラインを平均で7.6%上回っていることを示す。
  論文  参考訳（メタデータ） (2026-06-08T11:57:17Z)
• SkillFlow: Flow-Driven Recursive Skill Evolution for Agentic Orchestration [40.79922760459963]
  SkillFlowは、トレーニング可能なスーパーバイザをエージェントとして、動的スキルオーケストレーションを備えた構造化環境として、フローベースのフレームワークである。 これらのフロー診断に基づいて、スキル進化メカニズムは、いつ進化するか、どのスキルを創り出すか、どこで意思決定のギャップがあるかを決定する。
  論文  参考訳（メタデータ） (2026-05-13T20:14:44Z)
• CATArena: Evaluation of LLM Agents through Iterative Tournament Competitions [49.02422075498554]
  大言語モデル(LLM)エージェントは、基本的なテキスト生成から、外部ツールとのインタラクションを通じて、複雑なタスクを自律的に完了するまで進化してきた。 本研究では,人間レベルインテリジェンスに向けたエージェント進化のコアドライバとして,自己改善とピアラーニングの両方を含む学習能力の重要性を強調した。 本稿では,反復的かつ競合的なピアラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-30T15:22:53Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。