論文の概要: RewardWeaver: Long-Horizon Interactive Learning for Language Agents via Self-Evolving Reward Adaptation

• arxiv url: http://arxiv.org/abs/2610.10120v1
• Date: Wed, 07 Oct 2026 14:04:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.951156
• Title: RewardWeaver: Long-Horizon Interactive Learning for Language Agents via Self-Evolving Reward Adaptation
• Title（参考訳）: RewardWeaver: Reward Adaptationによる言語エージェントのための長距離対話型学習
• Abstract要約: 検証可能な報酬(RLVR)による強化学習は、タスク成果を確実に評価できる領域において、かなりの進歩をもたらした。 細かな端末フィードバックと困難なクレジット割り当てのため、長い水平相互作用は依然として困難なままである。 本稿では,ロングホライゾンインタラクションにおける言語エージェントのための自己進化型報酬適応フレームワークであるRewardWeaverを紹介する。
• 参考スコア（独自算出の注目度）: 12.262882181348816
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has driven substantial progress in domains where task outcomes can be reliably evaluated, but long-horizon interaction remains challenging due to sparse terminal feedback and difficult credit assignment. Process rewards provide denser supervision, yet the capabilities most relevant for training can change as the policy evolves: a behavior that is easy to evaluate or frequently deficient need not be the bottleneck currently limiting task success. We introduce RewardWeaver, a self-evolving reward adaptation framework for language agents in long-horizon interaction. RewardWeaver maintains a validated capability space in which the semantics of admitted Rubrics remain fixed, and closes the loop between policy optimization, task evaluation, failure attribution, and reward adaptation. After each training stage, it performs outcome-grounded backward attribution on low-outcome trajectories, aggregates recurrent and policy-controlled capability bottlenecks, and dynamically selects the corresponding process rewards for the next stage. Recurrent failures not covered by the existing capability space trigger a separate, controlled expansion procedure. We evaluate REWARDWEAVER on SOTOPIA, Amazon?HistoryPrice, and a newly constructed Sales Benchmark. Across social interaction, bilateral bargaining, and domain-specific sales, REWARDWEAVER establishes new state-of-the-art (SOTA) results. Ablations further demonstrate the importance of dynamic reward allocation, failure-grounded attribution, and stable semantics for admitted capabilities.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、タスク成果を確実に評価できる領域において大きな進歩を導いてきたが、端末からのフィードバックが不足し信用の割り当てが困難なため、長期的な相互作用は依然として困難である。 プロセス報酬は、より密集した監視を提供するが、ポリシーが進化するにつれて、トレーニングに最も関係のある能力が変わる可能性がある。 本稿では,ロングホライゾンインタラクションにおける言語エージェントのための自己進化型報酬適応フレームワークであるRewardWeaverを紹介する。 RewardWeaverは、承認されたRubricsのセマンティクスが固定されている検証済みの能力空間を維持し、ポリシー最適化、タスク評価、障害帰属、報酬適応の間のループを閉じている。 各トレーニング段階の後、低アウトカムトラジェクトリに対する結果の下位属性を実行し、リカレントおよびポリシー制御能力ボトルネックを集約し、次のステージに対して対応するプロセス報酬を動的に選択する。 既存の能力空間でカバーされていない繰り返し障害は、分離された制御された拡張手順を引き起こす。 SOTOPIA, Amazon における ReWARDWEAVER の評価について検討する。 HistoryPriceと新たに構築されたセールスベンチマーク。 社会的相互作用、二国間交渉、ドメイン特化販売などを通じて、REWARDWEAVERは新たな最先端(SOTA)の結果を確立している。 アブレーションは、動的報酬配分、失敗による帰属、そして認められた能力に対する安定したセマンティクスの重要性をさらに示している。

関連論文リスト

• ARISE: Adapting to Evolving Capability Gaps in Agentic Reinforcement Learning [28.762002702466532]
  ARISEは、ロールアウトエビデンスを使用して評価基準、探索ガイダンス、トレーニング優先順位を継続的に適用する強化学習フレームワークである。 ARISEは、全体的なタスクパフォーマンスとトレーニング効率の両方をうまく向上させる。
  論文  参考訳（メタデータ） (2026-09-28T16:14:07Z)
• Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills [53.15216425100295]
  本稿では,提案者,解決者,スキルコントローラからなる共進化型フレームワークであるスキルセルフプレイ(スキルSP)を紹介する。 プロジェクタは動的にサンプリングされたスキルを前提とした挑戦的なタスクを生成し、ソルバは能力境界を押し上げるための候補ソリューションを探索し、スキルコントローラは実行フィードバックを収集してスキルライブラリを更新および拡張する。 このインタラクティブな共進化は、構造化された検証とオープンな調査の間のギャップを効果的に埋める。
  論文  参考訳（メタデータ） (2026-07-24T17:59:22Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• Learning with Rare Success but Rich Feedback via Reflection-Enhanced Self-Distillation [71.16738415436458]
  本稿では、生の障害フィードバックを補正管理のアクティブソースに変換するフレームワークであるReflection-Enhanced Self-Distillation(RESD)を紹介する。 RESDは、局所的なエラーを診断するために振り返りリフレクションを生成し、持続的なグローバルなプレイブックをキュレートすることで、障害の軌跡を解釈する。 複数の連続学習課題に対する実証的な評価は、RESDが標準の自己蒸留ベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-12T20:46:05Z)
• Intrinsic Credit Assignment for Long Horizon Interaction [20.67253382614053]
  Belief-RLは、強化学習における純粋に結果に基づく報酬を一貫して上回る情報探索能力を教える。 我々の研究は、本質的な信念の報酬を通じて中間行動にクレジットを割り当てることによって、長期にわたる不確実性をナビゲートするためのスケーラブルなトレーニング戦略を導入している。
  論文  参考訳（メタデータ） (2026-02-12T19:00:54Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Simultaneously Updating All Persistence Values in Reinforcement Learning [40.10326490326968]
  強化学習では、学習エージェントの性能は時間的離散化の選択に敏感である。 本研究は,低パーシステンス体験と高パーシステンス体験の両方を効果的に活用できる小説『All-Persistence Bellman Operator』を創出する。
  論文  参考訳（メタデータ） (2022-11-21T16:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。