論文の概要: In-Dataset Trajectory Return Regularization for Offline Preference-based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2412.09104v2
• Date: Sat, 21 Dec 2024 07:50:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:54:10.104885
• Title: In-Dataset Trajectory Return Regularization for Offline Preference-based Reinforcement Learning
• Title（参考訳）: オフライン優先型強化学習のためのインデータセットトラジェクトリの正規化
• Authors: Songjun Tu, Jingbo Sun, Qichao Zhang, Yaocheng Zhang, Jia Liu, Ke Chen, Dongbin Zhao,
• Abstract要約: In-Dataset Trajectory Return Regularization (DTR) を提案する。 DTRは報酬バイアスの下で不正確な軌道縫合を学習するリスクを軽減する。 また,複数の報酬モデルを効果的に統合するアンサンブル正規化手法を導入する。
• 参考スコア（独自算出の注目度）: 15.369324784520538
• License:
• Abstract: Offline preference-based reinforcement learning (PbRL) typically operates in two phases: first, use human preferences to learn a reward model and annotate rewards for a reward-free offline dataset; second, learn a policy by optimizing the learned reward via offline RL. However, accurately modeling step-wise rewards from trajectory-level preference feedback presents inherent challenges. The reward bias introduced, particularly the overestimation of predicted rewards, leads to optimistic trajectory stitching, which undermines the pessimism mechanism critical to the offline RL phase. To address this challenge, we propose In-Dataset Trajectory Return Regularization (DTR) for offline PbRL, which leverages conditional sequence modeling to mitigate the risk of learning inaccurate trajectory stitching under reward bias. Specifically, DTR employs Decision Transformer and TD-Learning to strike a balance between maintaining fidelity to the behavior policy with high in-dataset trajectory returns and selecting optimal actions based on high reward labels. Additionally, we introduce an ensemble normalization technique that effectively integrates multiple reward models, balancing the tradeoff between reward differentiation and accuracy. Empirical evaluations on various benchmarks demonstrate the superiority of DTR over other state-of-the-art baselines.
• Abstract（参考訳）: オフライン選好に基づく強化学習(PbRL)は通常、報酬モデルを学ぶために人間の選好を使用し、報酬のないオフラインデータセットに報酬を注釈する。 しかし、軌道レベルの嗜好フィードバックからステップワイズ報酬を正確にモデル化することは、固有の課題を提示する。 導入された報酬バイアス、特に予測された報酬の過大評価は楽観的な軌道縫合をもたらし、これはオフラインのRL相に重要な悲観的メカニズムを損なう。 この課題に対処するため、PbRLのオフラインPbRLに対するIn-Dataset Trajectory Return Regularization (DTR)を提案する。 具体的には、DTRは決定変換器(Decision Transformer)とTD-Learning(TD-Learning)を用いて、データ内軌道リターンの高い行動ポリシーに対する忠実性の維持と、高い報酬ラベルに基づく最適な行動選択のバランスをとる。 さらに,複数の報酬モデルを効果的に統合し,報酬の微分と精度のトレードオフをバランスさせるアンサンブル正規化手法を導入する。 様々なベンチマークに関する実証的な評価は、他の最先端のベースラインよりもDTRの方が優れていることを示している。

関連論文リスト

• Q-value Regularized Decision ConvFormer for Offline Reinforcement Learning [5.398202201395825]
  Decision Transformer (DT) はオフライン強化学習において例外的な能力を示した。 Decision ConvFormer (DC) はマルコフ決定プロセス内のRL軌道のモデル化の文脈で理解しやすい。 本稿では,Q-value Regularized Decision ConvFormer(QDC)を提案する。
  論文  参考訳（メタデータ） (2024-09-12T14:10:22Z)
• Listwise Reward Estimation for Offline Preference-based Reinforcement Learning [20.151932308777553]
  リストワイズ・リワード推定(LiRE)は、オフラインの推論に基づく強化学習(PbRL)のための新しいアプローチである。 LiRE は Ranked List of Trajectories (RLT) を構築することで既存の PbRL メソッドに基づいている。 実験では,フィードバック数やフィードバックノイズに関して,緩やかなフィードバック予算や頑健さを享受しながらも,LiREの優位性を実証した。
  論文  参考訳（メタデータ） (2024-08-08T03:18:42Z)
• ROLeR: Effective Reward Shaping in Offline Reinforcement Learning for Recommender Systems [14.74207332728742]
  オフライン強化学習(RL)は,実世界のレコメンデーションシステムに有効なツールである。 本稿では,リコメンダシステムのためのオフライン強化学習における報酬と不確実性評価のためのモデルベースReward Shapingを提案する。
  論文  参考訳（メタデータ） (2024-07-18T05:07:11Z)
• Hindsight Preference Learning for Offline Preference-based Reinforcement Learning [22.870967604847458]
  オフライン選好に基づく強化学習(RL)は、オフラインデータセットから選択された軌道セグメントのペア間の人間の選好を使ってポリシーを最適化することに焦点を当てる。 本研究では,軌道セグメントの今後の成果を条件とした報酬を用いて,人間の嗜好をモデル化する。 提案手法であるHindsight Preference Learning (HPL) は,大規模な未ラベルデータセットで利用可能な膨大なトラジェクトリデータをフル活用することにより,クレジットの割り当てを容易にする。
  論文  参考訳（メタデータ） (2024-07-05T12:05:37Z)
• Preference Elicitation for Offline Reinforcement Learning [59.136381500967744]
  オフラインの嗜好に基づく強化学習アルゴリズムであるSim-OPRLを提案する。 本アルゴリズムは,配当外データに対する悲観的アプローチと,最適方針に関する情報的嗜好を得るための楽観的アプローチを用いる。
  論文  参考訳（メタデータ） (2024-06-26T15:59:13Z)
• Value-Incentivized Preference Optimization: A Unified Approach to Online and Offline RLHF [80.32171988565999]
  オンラインとオフラインのRLHFに統一的なアプローチを導入します。 VPOは、報酬関数の最大値推定を対応する値関数で正規化する。 テキスト要約とダイアログの実験は、VPOの実用性と有効性を検証する。
  論文  参考訳（メタデータ） (2024-05-29T17:51:42Z)
• Robust Preference Optimization through Reward Model Distillation [68.65844394615702]
  言語モデル (LM) は、好みのアノテーションから派生した報酬関数を最大化する。 DPOは、報酬モデルや強化学習を適用することなく、優先データに直接ポリシーを訓練する一般的なオフラインアライメント手法である。 この現象を解析し, 生成対よりも真の嗜好分布のより良いプロキシを得るため, 蒸留を提案する。
  論文  参考訳（メタデータ） (2024-05-29T17:39:48Z)
• Q-value Regularized Transformer for Offline Reinforcement Learning [70.13643741130899]
  オフライン強化学習(RL)における最先端化のためのQ値正規化変換器(QT)を提案する。 QTはアクション値関数を学習し、条件付きシーケンスモデリング(CSM)のトレーニング損失にアクション値を最大化する用語を統合する D4RLベンチマークデータセットの実証評価は、従来のDP法やCSM法よりもQTの方が優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-27T12:12:39Z)
• Benchmarks and Algorithms for Offline Preference-Based Reward Learning [41.676208473752425]
  本稿では、オフラインデータセットを用いて、プールベースのアクティブラーニングによる嗜好クエリを作成するアプローチを提案する。 提案手法では,報酬学習や政策最適化のステップに対して,実際の物理ロールアウトや正確なシミュレータを必要としない。
  論文  参考訳（メタデータ） (2023-01-03T23:52:16Z)
• Offline Meta-Reinforcement Learning with Online Self-Supervision [66.42016534065276]
  適応ポリシをメタトレーニングするための報酬付きオフラインデータを用いたハイブリッドオフラインメタRLアルゴリズムを提案する。 提案手法では,オフラインデータを用いて報酬関数の分布を学習し,さらにオンラインデータに対する自己監督型報酬ラベルにサンプリングする。 追加データと自己生成報酬を用いることで、エージェントの一般化能力が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2021-07-08T17:01:32Z)
• Where is the Grass Greener? Revisiting Generalized Policy Iteration for Offline Reinforcement Learning [81.15016852963676]
  オフラインRL体制における最先端のベースラインを、公正で統一的で高分解能なフレームワークの下で再実装する。 与えられたベースラインが、スペクトルの一方の端で競合する相手よりも優れている場合、他方の端では決してしないことを示す。
  論文  参考訳（メタデータ） (2021-07-03T11:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。