論文の概要: Specifying Reward Functions for RL Without Environment Sampling
- arxiv url: http://arxiv.org/abs/2609.15544v1
- Date: Mon, 14 Sep 2026 13:28:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.412125
- Title: Specifying Reward Functions for RL Without Environment Sampling
- Title（参考訳）: 環境サンプリングを伴わないRLの逆関数の特定
- Abstract要約: 本研究では,環境相互作用を伴わない好みから報酬関数を学習する方法であるEARS(Experience-Free Autonomous Reward Specification)を紹介する。
我々は、パンデミック・ロックダウン・レギュレーション・デザイン、糖尿病患者のインスリン管理、高速道路での自律走行車制御の3つの長期領域におけるEARSの評価を行った。
- 参考スコア（独自算出の注目度）: 17.422547104774647
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enabling human stakeholders to specify reward functions that lead to their desired outcomes is a key challenge in deploying reinforcement learning agents. Preference-based methods such as online RLHF can reduce the burden of manual reward design, but they require repeatedly training policies, sampling trajectories from the real world, and eliciting feedback, making them impractical in settings where environment interaction is computationally expensive or unsafe. We introduce Experience-Free Autonomous Reward Specification (EARS), a method for learning reward functions from preferences without environment interaction. Our approach uses a structured LLM-mediated process to construct a small set of expressive reward features from a task description and the environment observation space, then strategically samples imagined trajectories in this feature space and learns feature weights from preferences over the imagined trajectory pairs. We evaluate on three long-horizon domains: pandemic lockdown regulation design, insulin administration for diabetes patients, and autonomous vehicle control on a highway. We compare EARS to baselines that also enable reward specification without environment interaction--namely, methods that directly prompt an LLM to generate a reward function. When learning from either ground-truth preference labels or preferences labeled by a LLM, EARS designs reward functions that are more aligned with the ground truth reward function that produced the preferences or LLM context than these baselines. These results suggest that preference-based reward specification remains effective without environment sampling, enabling practical reward design in settings where collecting real trajectories is costly or infeasible.
- Abstract（参考訳）: 人間の利害関係者に、望ましい結果につながる報酬関数を指定させることは、強化学習エージェントを配置する上で重要な課題である。
オンラインRLHFのような嗜好ベースの手法は、手動報酬設計の負担を軽減することができるが、それらは繰り返しトレーニングポリシー、現実世界からの軌跡のサンプリング、フィードバックの抽出を必要とし、環境相互作用が計算的に高価または安全でない環境では実用的ではない。
本研究では,環境相互作用を伴わない好みから報酬関数を学習する方法であるEARS(Experience-Free Autonomous Reward Specification)を紹介する。
提案手法では,タスク記述と環境観測空間から小さな表現的報酬特徴セットを構築し,この特徴空間における仮想軌道を戦略的にサンプリングし,予測された軌道対の好みから特徴量を求める。
本研究では,パンデミック・ロックダウンの規制設計,糖尿病患者のインスリン管理,高速道路での自動運転車制御の3つの長期ドメインについて検討した。
EARSとベースラインを比較し,環境相互作用を伴わずに報酬仕様を作成できるようにする。
EARSは、LLMによってラベル付けされた直感的な選好ラベルまたは選好から学習する際、これらのベースラインよりもその選好やLLMコンテキストを生成する基底真理報奨関数とより整合した報奨関数を設計する。
これらの結果から,実軌道の収集がコストがかかる,あるいは実現不可能な環境では,環境サンプリングを必要とせずに,嗜好に基づく報酬仕様が有効であることが示唆された。
関連論文リスト
- Automating Potential-based Reward Shaping with Vision Language Model Guidance [2.8360662552057323]
本稿では視覚言語モデルからのフィードバックから直接潜在的な機能を学ぶVLM誘導PBRSフレームワークを紹介する。
このアプローチはポテンシャルに基づく報酬形成に基づいているため、元の最適ポリシーを保っている。
結果として得られた選好ラベルは精度が低いが、実証的な証拠は、選好ラベルが学習を加速するためにも使用できることを示している。
論文 参考訳（メタデータ） (2026-06-25T15:45:57Z) - What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。
既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。
環境重み付け学習フレームワークであるSERLを紹介する。
論文 参考訳（メタデータ） (2026-05-19T07:00:55Z) - CRED: Counterfactual Reasoning and Environment Design for Active Preference Learning [42.8490230146573]
積極的嗜好学習は、ランク付けのための軌道を提示することで人間の報酬関数を学習する。
環境設計と軌道選択を協調的に最適化することで報酬推論を改善するAPLの新しい軌道生成法であるCREDを提案する。
CREDは、報酬精度とサンプル効率において最先端の手法を著しく上回り、より高いユーザ評価を受ける。
論文 参考訳（メタデータ） (2026-03-09T16:01:54Z) - Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers [55.33468902405567]
本稿では、事前学習とデプロイの両方が好みのフィードバックにのみ依存する新しい学習パラダイム、In-Context Preference-based Reinforcement Learning (ICPRL)を提案する。
ICPRLは、厳密なコンテキスト内一般化を可能にし、完全な報酬管理で訓練されたICRLメソッドに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-02-09T03:42:16Z) - Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。
我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。
我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文 参考訳（メタデータ） (2025-09-23T16:15:42Z) - Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。
しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。
人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:49:25Z) - Beyond Human Preferences: Exploring Reinforcement Learning Trajectory Evaluation and Improvement through LLMs [12.572869123617783]
強化学習(Reinforcement Learning, RL)は、複雑なゲームタスクにおけるポリシートラジェクトリを評価する上での課題である。
PbRLは、人間の嗜好を重要な報酬信号として活用する先駆的なフレームワークである。
LLM4PG という LLM 対応自動選好生成フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-28T04:21:24Z) - Preference Elicitation for Offline Reinforcement Learning [59.136381500967744]
オフラインの嗜好に基づく強化学習アルゴリズムであるSim-OPRLを提案する。
本アルゴリズムは,配当外データに対する悲観的アプローチと,最適方針に関する情報的嗜好を得るための楽観的アプローチを用いる。
論文 参考訳（メタデータ） (2024-06-26T15:59:13Z) - Leveraging Optimal Transport for Enhanced Offline Reinforcement Learning
in Surgical Robotic Environments [4.2569494803130565]
我々は,少数の高品質な専門家によるデモンストレーションを用いて,オフラインの軌道に報酬を割り当てるための革新的なアルゴリズムを導入する。
このアプローチは、手作りの報酬の必要性を回避し、ポリシー学習に膨大なデータセットを活用する可能性を解き放つ。
論文 参考訳（メタデータ） (2023-10-13T03:39:15Z) - Language Reward Modulation for Pretraining Reinforcement Learning [61.76572261146311]
本稿では,強化学習のための事前学習信号としてLRFの機能を活用することを提案する。
我々の VLM プレトレーニングアプローチは,従来の LRF の使い方とは違い,ロボット操作タスクにおけるサンプル効率の学習を温めることができる。
論文 参考訳（メタデータ） (2023-08-23T17:37:51Z) - Reinforcement Learning from Diverse Human Preferences [68.4294547285359]
本稿では,人選好ラベルをクラウドソーシングし,多様な嗜好から学習する手法を開発した。
提案手法はDMcontrolとMeta-worldの様々なタスクでテストされる。
多様なフィードバックから学ぶと、既存の好みベースのRLアルゴリズムよりも一貫性があり、大幅に改善されている。
論文 参考訳（メタデータ） (2023-01-27T15:18:54Z) - CostNet: An End-to-End Framework for Goal-Directed Reinforcement
Learning [9.432068833600884]
強化学習(Reinforcement Learning, RL)は、環境における報酬の最大化を目指すエージェントに関する一般的なフレームワークである。
モデルベースとモデルフリー強化学習の2つのアプローチがあり、いくつかの分野において具体的な結果を示している。
本稿ではマルコフ決定過程における2つの状態間の距離を予測するための新しい強化学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-10-03T21:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。