論文の概要: TalentRL: Strategy-Guided Reinforcement Learning for Hierarchical Skill Routing

• arxiv url: http://arxiv.org/abs/2610.41143v1
• Date: Fri, 30 Oct 2026 02:03:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.588015
• Title: TalentRL: Strategy-Guided Reinforcement Learning for Hierarchical Skill Routing
• Title（参考訳）: TalentRL:階層型スキルルーティングのための戦略指導型強化学習
• Abstract要約: TalentRLは、手続き記憶上の階層的ルーティングのための戦略誘導型強化学習フレームワークである。 各タスクに対して、ポリシーモデルは、実行を指導し、類似性に基づく検索中に関連するスキルをソフトに優先順位付けするタレントを選択する。 7つのオープンドメインおよびマルチホップ質問回答ベンチマークで、タレント意識による微調整により、平均成功率は7.53%、6.71%、9.21%向上している。
• 参考スコア（独自算出の注目度）: 8.52202553192961
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural-language skills enable large language model (LLM) agents to reuse procedures across tasks, yet most systems retrieve individual skills from a flat SkillBank without explicitly modeling the high-level strategy that governs their selection and use. We introduce TalentRL, a strategy-guided reinforcement learning framework for hierarchical routing over procedural memory. Coarse-grained talents represent recurring strategies for skill use, while fine-grained skills provide executable procedures. For each task, the policy model selects a talent that guides execution and softly prioritizes its associated skills during similarity-based retrieval. However, since task outcomes depend jointly on talent selection, retrieved skill context, and downstream execution, terminal rewards alone cannot isolate the contribution of the routing decision. TalentRL therefore trains talent routing with reward contrasts between rollouts of the same task under matched interventions on the talent-conditioned context, and optimizes downstream execution with group-relative advantages. Across seven open-domain and multi-hop question-answering benchmarks, talent-aware supervised fine-tuning improves average success rate by 7.53%, 6.71%, and 9.21% over the corresponding zero-shot baselines for Qwen2.5-7B, Qwen3-8B, and Llama-3.1-8B, respectively. Reinforcement learning further improves these SFT checkpoints by 7.58% to 9.32%, and TalentRL achieves the highest average success rate among all compared methods on all three backbones. On the agentic benchmarks ALFWorld and WebShop, TalentRL achieves the highest ALFWorld success rate (99.3%) and the highest WebShop score (90.7) among all compared methods.
• Abstract（参考訳）: 自然言語のスキルにより、大きな言語モデル(LLM)エージェントはタスク間で手続きを再利用できるが、ほとんどのシステムは、選択と使用を管理するハイレベル戦略を明示的にモデル化することなく、フラットなSkillBankから個別のスキルを抽出する。 本稿では,手続き記憶上の階層的ルーティングのための戦略誘導型強化学習フレームワークTalentRLを紹介する。 粗粒のタレントは、スキル使用の繰り返し戦略を表し、きめ細かいスキルは実行可能な手順を提供する。 各タスクに対して、ポリシーモデルは、実行をガイドし、類似性に基づく検索中に関連するスキルをソフトに優先順位付けするタレントを選択する。 しかし,タスクの結果は,人材選択やスキルコンテキストの検索,下流実行などと密接に依存しているため,端末の報酬だけではルーティング決定の貢献を分離できない。 そのためTalentRLは、タレント条件付きコンテキストにマッチした介入の下で同じタスクのロールアウト間の報酬コントラストでタレントルーティングを訓練し、グループ相対的なアドバンテージで下流実行を最適化する。 7つのオープンドメインとマルチホップ質問回答ベンチマークで、タレントアウェアによる微調整により、それぞれQwen2.5-7B、Qwen3-8B、Llama-3.1-8Bのゼロショットベースラインに対して、平均成功率が7.53%、6.71%、9.21%向上した。 強化学習はこれらのSFTチェックポイントを7.58%から9.32%改善し、TalentRLは3つのバックボーンで比較されたすべてのメソッドの中で平均的な成功率を達成した。 ALFWorld と WebShop のエージェントベンチマークでは、TalentRL は ALFWorld の最高成功率 (99.3%) と WebShop の最高スコア (90.7) を達成した。

関連論文リスト

• RSIPO: Recursive Self-Improving Policy Optimization for Agentic Reinforcement Learning via Skill-Policy Co-Evolution [77.88178178061172]
  本稿では、エージェントスキルとポリシーモデルをトレーニングプロセスを通じて共進化させる自己進化型エージェントRLフレームワークである、再帰的自己改善政策最適化(RSIPO)を紹介する。 Qwen2.5-7Bがベースモデルとなり、RSIPOはALFWorldで平均98.6%の成功率を記録し、それぞれ2番目に高いベースラインと標準GRPOに対して2.5%と17.4%の改善を達成した。
  論文  参考訳（メタデータ） (2026-10-11T16:54:58Z)
• ArenaFlow: From Trajectory Ranking to Hierarchical Credit Propagation for Open-Ended Agent RL [83.01251140361684]
  強化学習は、検証可能な領域における大きな言語モデル(LLM)エージェントを大幅に改善したが、オープンエンドエージェントタスクに適用することは困難である。 エージェント強化学習のための階層的信用伝搬フレームワークであるArenaFlowを提案する。
  論文  参考訳（メタデータ） (2026-09-18T06:44:44Z)
• Write, Execute, Refine: From Skill Followers to Skill Optimizers via Reinforcement Learning from Execution Feedback [52.78692582507693]
  専門家による自然言語スキルは、ツール使用エージェントを改善することができるが、エージェントによるスキルは、スキルを使用しないよりも8-11ポイント悪い。 本研究では,中間的スキルから実行経験を訓練状態に整理する方法について検討する。
  論文  参考訳（メタデータ） (2026-08-18T09:52:48Z)
• Skill-R1: Agent Skill Evolution via Reinforcement Learning [84.35984979949502]
  Skill-R1は、検証可能な報酬からインスタンスレベルの繰り返しスキル最適化のための強化学習フレームワークである。 オープンソースモデルとクローズドソースモデルの両方とのブラックボックス互換性を維持しつつ、モデルレベルの更新よりも大幅に安価に適応できる。
  論文  参考訳（メタデータ） (2026-05-10T06:19:15Z)
• StraTA: Incentivizing Agentic Reinforcement Learning with Strategic Trajectory Abstraction [76.50439715778869]
  StraTAは、エージェント強化学習に明確な軌道レベルの戦略を導入するフレームワークである。 ALFWorld、WebShop、SciWorldの実験では、StraTAはサンプル効率と最終的なパフォーマンスの両方を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-07T17:51:16Z)
• ARISE: Agent Reasoning with Intrinsic Skill Evolution in Hierarchical Reinforcement Learning [17.98540130851038]
  ARISE(Agent Reasoning via Intrinsic Skill Evolution)は階層的な強化学習フレームワークである。 共有ポリシを使用して、ハイレベルなスキルを管理し、低レベルなレスポンスを生成する。 階層的な報酬設計は、推論能力と図書館品質の共進化を導く。
  論文  参考訳（メタデータ） (2026-03-17T02:03:17Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Agent KB: Leveraging Cross-Domain Experience for Agentic Problem Solving [62.71545696485824]
  我々は,異種エージェントフレームワーク間のシームレスな体験共有を可能にするユニバーサルメモリ基盤であるAgent KBを紹介した。 Agent KBはトラジェクトリを構造化知識ベースに集約し、軽量APIを提供する。 我々は,GAIA,Humanity's Last Exam,GPQA,SWE-benchなどの主要フレームワークにまたがるエージェントを検証した。
  論文  参考訳（メタデータ） (2025-07-08T17:59:22Z)
• Self-Generated In-Context Examples Improve LLM Agents for Sequential Decision-Making Tasks [11.125564622217892]
  大規模言語モデルエージェントは、人間の介入なしに自身の成功経験から学習することで改善する。 提案手法は,将来的なタスクのコンテキスト内例として機能する,自己生成トラジェクトリのデータベースを構築し,改良する。 我々の軌道ブートストラッピング技術は、エージェントが経験を通じて自律的に改善できることを示し、労働集約的な知識工学に代わるスケーラブルな代替手段を提供する。
  論文  参考訳（メタデータ） (2025-05-01T00:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。