論文の概要: Leveraging Sub-Optimal Data for Human-in-the-Loop Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2405.00746v2
• Date: Mon, 07 Apr 2025 23:17:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:26:47.830655
• Title: Leveraging Sub-Optimal Data for Human-in-the-Loop Reinforcement Learning
• Title（参考訳）: ループ強化学習のためのサブ最適データの活用
• Authors: Calarina Muslimani, Matthew E. Taylor,
• Abstract要約: 準最適データ事前トレーニング(SDP)は、報酬のない準最適データを活用してRLアルゴリズムを改善するアプローチである。 SDPでは、人間による評価や嗜好を必要とせず、報酬モデルを事前訓練するための報酬ラベルを得る。 我々は,SDPが少なくとも高い性能を達成できるが,その性能は大幅に向上することが確認された。
• 参考スコア（独自算出の注目度）: 7.07264650720021
• License:
• Abstract: To create useful reinforcement learning (RL) agents, step zero is to design a suitable reward function that captures the nuances of the task. However, reward engineering can be a difficult and time-consuming process. Instead, human-in-the-loop RL methods hold the promise of learning reward functions from human feedback. Despite recent successes, many of the human-in-the-loop RL methods still require numerous human interactions to learn successful reward functions. To improve the feedback efficiency of human-in-the-loop RL methods (i.e., require less human interaction), this paper introduces Sub-optimal Data Pre-training, SDP, an approach that leverages reward-free, sub-optimal data to improve scalar- and preference-based RL algorithms. In SDP, we start by pseudo-labeling all low-quality data with the minimum environment reward. Through this process, we obtain reward labels to pre-train our reward model without requiring human labeling or preferences. This pre-training phase provides the reward model a head start in learning, enabling it to recognize that low-quality transitions should be assigned low rewards. Through extensive experiments with both simulated and human teachers, we find that SDP can at least meet, but often significantly improve, state of the art human-in-the-loop RL performance across a variety of simulated robotic tasks.
• Abstract（参考訳）: 有用な強化学習(RL)エージェントを作成するために、ステップゼロはタスクのニュアンスをキャプチャする適切な報酬関数を設計する。 しかし、報酬エンジニアリングは困難で時間を要するプロセスです。 代わりに、人間のループ型RL法は、人間のフィードバックから報酬関数を学習するという約束を保っている。 近年の成功にもかかわらず、ループ内のRL法の多くは、報酬関数を学習するために多くの人間との相互作用を必要とする。 本稿では,ループ型RL手法のフィードバック効率を改善するために,SDP(Sub-Optimal Data Pre-Training)を提案する。 SDPでは、最小環境報酬ですべての低品質データを擬似ラベル付けすることから始める。 このプロセスを通じて、人間のラベル付けや嗜好を必要とせず、報酬モデルを事前訓練するための報酬ラベルを得る。 この事前学習フェーズは、報酬モデルに学習の出発点を与え、低品質の移行が低い報酬を割り当てるべきであることを認識できるようにする。 シミュレーションと人間の両方の教師による広範な実験により、SDPは、様々なシミュレーションロボットタスクにおいて、少なくとも、最先端の人間-イン-ザ-ループRLのパフォーマンスを著しく改善できることがわかった。

関連論文リスト

• Efficient Preference-based Reinforcement Learning via Aligned Experience Estimation [37.36913210031282]
  評価に基づく強化学習(PbRL)は、報酬工学を使わずにトレーニングエージェントに優れた能力を示す。 ラベルの平滑化とポリシー正則化を併用した効率的なPbRL法であるSEERを提案する。
  論文  参考訳（メタデータ） (2024-05-29T01:49:20Z)
• Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
  我々は、報酬モデルと政策モデルを同時に構築するために、逆強化学習(IRL)技術を活用することを提案する。 提案アルゴリズムはIRL問題の定常解に収束することを示す。 その結果,アライメントプロセス全体を通じて報酬学習を活用することは有益であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-28T07:11:05Z)
• Improving Large Language Models via Fine-grained Reinforcement Learning with Minimum Editing Constraint [104.53687944498155]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練に広く用いられている。 本稿では,報酬モデルとして生成モデルを組み込んだRL法 RLMEC を提案する。 生成報酬モデルに基づいて、トレーニングのためのトークンレベルRL目標と、RLプロセスの安定化のための模倣ベース正規化を設計する。
  論文  参考訳（メタデータ） (2024-01-11T17:58:41Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Few-Shot Preference Learning for Human-in-the-Loop RL [13.773589150740898]
  メタラーニングの成功に触発された我々は、先行タスクデータに対する嗜好モデルを事前訓練し、少数のクエリだけで新しいタスクに迅速に適応する。 メタワールドにおける操作ポリシーのトレーニングに必要なオンラインフィードバックの量を20$times$に削減し,実際のフランカ・パンダロボット上での手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-12-06T23:12:26Z)
• Teacher Forcing Recovers Reward Functions for Text Generation [21.186397113834506]
  本稿では,教師の強制力で訓練されたモデルから直接,ステップワイズ報酬関数を導出するタスク依存型手法を提案する。 また、並列でないデータセットに対するRLトレーニングを誘導報酬関数で安定化するための簡単な修正も提案する。
  論文  参考訳（メタデータ） (2022-10-17T02:48:58Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Reward Uncertainty for Exploration in Preference-based Reinforcement Learning [88.34958680436552]
  好みに基づく強化学習アルゴリズムを対象とした探索手法を提案する。 我々の基本的な考え方は、学習した報酬に基づいて、斬新さを測定することによって、本質的な報酬を設計することである。 実験により、学習報酬の不確実性からの探索ボーナスは、好みに基づくRLアルゴリズムのフィードバック効率とサンプル効率の両方を改善することが示された。
  論文  参考訳（メタデータ） (2022-05-24T23:22:10Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。