論文の概要: $R^2E:$ A Role-driven Reward Evolutionary Framework for Automated Reward Function Design

• arxiv url: http://arxiv.org/abs/2610.32439v1
• Date: Fri, 23 Oct 2026 10:06:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.489571
• Title: $R^2E:$ A Role-driven Reward Evolutionary Framework for Automated Reward Function Design
• Title（参考訳）: R^2E:$ A Role-driven Reward Evolutionary Framework for Automated Reward Function Design
• Abstract要約: R2E$は、自動報酬関数設計のためのロール駆動のReward Evolutionaryフレームワークである。 R2E$は、補完的な目的を持った複数のLLMロールを使用する。 R2E$にはGlobal Elite Poolが組み込まれており、その後の世代をガイドするための最高の報酬を得られる。
• 参考スコア（独自算出の注目度）: 10.284129327758594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing effective reward functions is a critical challenge in Reinforcement Learning (RL), which traditionally requires costly manual trial-and-error. While Large Language Model (LLM)-based methods have shown promise in reward design, undifferentiated sampling and limited use of historical feedback often lead to insufficient exploration of the reward space and optimization instability. To address these challenges, we propose $R^2E$, a Role-driven Reward Evolutionary framework for automated reward function design that structures the process through explicit role specialization. $R^2E$ employs multiple LLM roles with complementary objectives: an Explorer that promotes novelty to expand the search space, a Guardian that performs conservative refinements to improve training stability, and an Evolver that recombines high-performing rewards via crossover and mutation to integrate effective structures. A dynamic scheduling strategy coordinates these roles, progressively shifting the search from broad exploration to focused exploitation. To mitigate optimization instability and provide a medium for cross-role collaboration, $R^2E$ incorporates a Global Elite Pool that retains the best-performing rewards to guide subsequent generations, thereby enabling coordinated interaction among roles and ensuring a reliable and consistent refinement process. Extensive experiments on multiple robotic tasks demonstrate the effectiveness of our method.
• Abstract（参考訳）: 効果的な報酬関数の設計は、伝統的に手作業による試行錯誤を必要とする強化学習(RL)において重要な課題である。 LLM(Large Language Model)に基づく手法は、報酬設計において有望であるが、未分化のサンプリングと履歴フィードバックの使用は、しばしば報酬空間の探索と最適化の不安定性の不足につながる。 これらの課題に対処するために、ロール駆動型リワード進化フレームワークである$R^2E$を提案する。 R^2E$は、検索スペースを拡張するために新規性を促進するエクスプローラー、トレーニングの安定性を改善するために保守的な改善を行うガーディアン、クロスオーバーと突然変異によって高いパフォーマンスの報酬を再結合するエボルバーなど、補完的な目的を持つ複数のLLMロールを雇用している。 動的スケジューリング戦略はこれらの役割をコーディネートし、探索を広い探索から集中的な搾取へと段階的にシフトさせる。 最適化の不安定性を軽減し、クロスロールなコラボレーションのための媒体を提供するため、$R^2E$はGlobal Elite Poolを組み込み、その後の世代を誘導し、役割間の協調的な相互作用を可能にし、信頼性と一貫性のある改善プロセスを保証する。 複数のロボットタスクに対する大規模な実験により,本手法の有効性が示された。

関連論文リスト

• RSPO: Reward-Swap Policy Optimization for Multi-Turn LLM Agents [24.215311212134882]
  本稿では,高密度なプロセス報酬から得られる豊富な情報を活用して,結果報酬によるトレーニングを容易にするために,Reward-Swap Policy Optimization (RSPO)を提案する。 RSPOは、最適化目標と真の結果報酬との整合性を確保しつつ、サンプル軌跡の多様性を保証する。
  論文  参考訳（メタデータ） (2026-07-06T06:32:39Z)
• Causal Reward World Models: Zero-shot Reward Design for Automated Skill Generation [23.371552518874807]
  Automated Reward Design (ARD)は、強化学習における手動報酬工学を言語駆動報酬関数合成に置き換えることを目的としている。 大規模言語モデル(LLM)に基づく既存のアプローチは、特定のタスクごとに報酬仮説を洗練させるために反復的な環境フィードバックに依存し、本質的に相関駆動である。 マルチタスクインタラクションデータに基づくオフライン事前学習により,候補の報酬成分とタスク対象の物理変数の因果関係を明示的にモデル化する因果関係世界モデル(CRWM)を提案する。
  論文  参考訳（メタデータ） (2026-06-22T12:57:17Z)
• Chain of Uncertain Rewards with Large Language Models for Reinforcement Learning [52.48243762705385]
  Chain of Uncertain Rewards (CoUR)は、大きな言語モデル(LLM)を統合して報酬関数の設計と評価を効率化する新しいフレームワークである。 我々は、CoURがより良い性能を実現し、報酬評価のコストを大幅に削減できることを示します。
  論文  参考訳（メタデータ） (2026-04-15T05:44:14Z)
• ORSO: Accelerating Reward Design via Online Reward Selection and Policy Optimization [41.074747242532695]
  Online Reward Selection and Policy Optimization (ORSO) は、オンラインモデル選択問題としてシェーピング報酬関数の選択を枠組みとした、新しいアプローチである。 ORSOは、整形報酬関数を評価するのに必要なデータ量を著しく削減し、データ効率と計算時間(最大8倍)の大幅な削減をもたらす。 ORSOは、従来の手法よりも50%以上優れた高品質の報酬関数を一貫して識別し、平均的にポリシーを、ドメインの専門家が手作業で設計した報酬関数を使って学んだものと同様に、パフォーマンスとして識別する。
  論文  参考訳（メタデータ） (2024-10-17T17:55:05Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Automatic Intrinsic Reward Shaping for Exploration in Deep Reinforcement Learning [55.2080971216584]
  本稿では、強化学習(RL)における探索を強化するため、知的かつ適応的に高品質な固有報酬を提供する自動固有リワード整形法を提案する。 我々は,多様な固有報酬手法の効率的かつ信頼性の高い実装を実現するために,固有報酬ツールキットを開発した。
  論文  参考訳（メタデータ） (2023-01-26T01:06:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。