Fugu-MT 論文翻訳(概要): Reward-Conditioned Reinforcement Learning

論文の概要: Reward-Conditioned Reinforcement Learning

arxiv url: http://arxiv.org/abs/2603.05066v1
Date: Thu, 05 Mar 2026 11:29:17 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-06 22:06:11.203208
Title: Reward-Conditioned Reinforcement Learning
Title（参考訳）: Reward-Conditioned Reinforcement Learning
Authors: Michal Nauman, Marek Cygan, Pieter Abbeel,
Abstract要約: Reward-Conditioned Reinforcement Learning (RCRL) は、報酬仕様のファミリーを最適化するために単一のエージェントを訓練するフレームワークである。 RCRLは、報酬パラメータ化のエージェントを条件付け、共有されたリプレイデータから複数の報酬目標を学習する。その結果、RCRLはシングルタスクトレーニングの単純さを犠牲にすることなく、堅牢でステアブルなポリシを学習するためのスケーラブルなメカニズムを提供することを示した。
参考スコア（独自算出の注目度）: 56.417273471201845
License: http://creativecommons.org/licenses/by/4.0/
Abstract: RL agents are typically trained under a single, fixed reward function, which makes them brittle to reward misspecification and limits their ability to adapt to changing task preferences. We introduce Reward-Conditioned Reinforcement Learning (RCRL), a framework that trains a single agent to optimize a family of reward specifications while collecting experience under only one nominal objective. RCRL conditions the agent on reward parameterizations and learns multiple reward objectives from a shared replay data entirely off-policy, enabling a single policy to represent reward-specific behaviors. Across single-task, multi-task, and vision-based benchmarks, we show that RCRL not only improves performance under the nominal reward parameterization, but also enables efficient adaptation to new parameterizations. Our results demonstrate that RCRL provides a scalable mechanism for learning robust, steerable policies without sacrificing the simplicity of single-task training.
Abstract（参考訳）: RLエージェントは、通常、単一の固定された報酬関数の下で訓練され、不特定性に報酬を与え、タスクの嗜好の変化に適応する能力を制限する。 Reward-Conditioned Reinforcement Learning (RCRL) は、一人のエージェントを訓練し、報酬仕様のファミリーを最適化し、一人の名目的しか持たない経験を収集するフレームワークである。 RCRLは報酬パラメータ化のエージェントを条件付けし、共有されたリプレイデータから複数の報酬目標を学習する。シングルタスク,マルチタスク,ビジョンベースのベンチマークを通じて,RCRLは名目報酬パラメタライゼーションによる性能向上だけでなく,新たなパラメータ化への適応も実現可能であることを示す。その結果、RCRLはシングルタスクトレーニングの単純さを犠牲にすることなく、堅牢でステアブルなポリシを学習するためのスケーラブルなメカニズムを提供することを示した。

関連論文リスト

Decoupling Task and Behavior: A Two-Stage Reward Curriculum in Reinforcement Learning for Robotics [7.115267332079192]
本稿では,タスク固有の目的を行動用語から切り離す2段階の報酬カリキュラムを提案する。提案手法では,タスクのみの報酬関数でエージェントを訓練し,効果的な探索を確実にする。我々は,DeepMind Control Suite,ManiSkill3,および補助的行動目的を含む移動ロボット環境に対するアプローチを検証する。
論文参考訳（メタデータ） (2026-03-05T12:34:27Z)
Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers [55.33468902405567]
本稿では、事前学習とデプロイの両方が好みのフィードバックにのみ依存する新しい学習パラダイム、In-Context Preference-based Reinforcement Learning (ICPRL)を提案する。 ICPRLは、厳密なコンテキスト内一般化を可能にし、完全な報酬管理で訓練されたICRLメソッドに匹敵するパフォーマンスを達成する。
論文参考訳（メタデータ） (2026-02-09T03:42:16Z)
Repairing Reward Functions with Human Feedback to Mitigate Reward Hacking [13.417125511014447]
そこで本稿では,人為的に規定された代行報酬関数を,優先事項から付加的かつ遷移依存的な補正項を学習することで修復する自動フレームワークを提案する。 PBRRは、好みから報酬関数をスクラッチから学習するベースラインを一貫して上回り、他のアプローチを使用してプロキシ報酬関数を変更する。
論文参考訳（メタデータ） (2025-10-14T23:18:24Z)
Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文参考訳（メタデータ） (2025-09-23T16:15:42Z)
Reset-free Reinforcement Learning with World Models [6.151562278670799]
強化学習のためのモデルベースリセットフリー(MoReFree)エージェントを提案する。 MoReFreeは、リセット不要なタスクを処理するために、探索とポリシー学習という2つの重要なメカニズムを適用している。環境報酬やデモンストレーションへのアクセスなしに、様々なリセットのないタスクに対して優れたデータ効率を示す。
論文参考訳（メタデータ） (2024-08-19T08:56:00Z)
Countering Reward Over-optimization in LLM with Demonstration-Guided Reinforcement Learning [49.87923965553233]
強化学習は、大きな言語モデルで過度に最適化される。報酬目的を再検討するために、Reward from Demonstration (RCfD)を導入する。 RCfD は ROO を緩和しながら, 注意深く調整されたベースラインに匹敵する性能を示した。
論文参考訳（メタデータ） (2024-04-30T09:57:21Z)
REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
論文参考訳（メタデータ） (2023-12-22T04:56:37Z)
Teacher Forcing Recovers Reward Functions for Text Generation [21.186397113834506]
本稿では,教師の強制力で訓練されたモデルから直接,ステップワイズ報酬関数を導出するタスク依存型手法を提案する。また、並列でないデータセットに対するRLトレーニングを誘導報酬関数で安定化するための簡単な修正も提案する。
論文参考訳（メタデータ） (2022-10-17T02:48:58Z)
Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
論文参考訳（メタデータ） (2022-08-09T17:29:49Z)
Hindsight Reward Tweaking via Conditional Deep Reinforcement Learning [37.61951923445689]
本稿では,最近空間における報酬関数の影響をモデル化するための,深層強化学習のための新しいパラダイムを提案する。このアプローチの実現可能性を示し、複数の MuJoCo タスクによる政策パフォーマンス向上における潜在的応用の1つについて検討する。
論文参考訳（メタデータ） (2021-09-06T10:06:48Z)
Information Directed Reward Learning for Reinforcement Learning [64.33774245655401]
我々は、標準rlアルゴリズムが可能な限り少数の専門家クエリで高い期待値を達成することができる報酬関数のモデルを学ぶ。特定のタイプのクエリ用に設計された以前のアクティブな報酬学習方法とは対照的に、IDRLは自然に異なるクエリタイプに対応します。我々は,複数の環境における広範囲な評価と,異なるタイプのクエリでこの結果を支持する。
論文参考訳（メタデータ） (2021-02-24T18:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。