論文の概要: LEASE: Offline Preference-based Reinforcement Learning with High Sample Efficiency

• arxiv url: http://arxiv.org/abs/2412.21001v1
• Date: Mon, 30 Dec 2024 15:10:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:06:52.155030
• Title: LEASE: Offline Preference-based Reinforcement Learning with High Sample Efficiency
• Title（参考訳）: LEASE: サンプル効率の高いオフライン優先型強化学習
• Authors: Xiao-Yin Liu, Guotao Li, Xiao-Hu Zhou, Zeng-Guang Hou,
• Abstract要約: 本稿では、ラベルなしの嗜好データを生成するために、高サンプル効率(LEASE)アルゴリズムを用いたoffLine prEference-bAsed RLを提案する。 事前学習した報奨モデルがラベルのないデータに対して誤ったラベルを生成する可能性があることを考慮し、報奨モデルの性能を確保するための不確実性を考慮したメカニズムを設計する。
• 参考スコア（独自算出の注目度）: 11.295036269748731
• License:
• Abstract: Offline preference-based reinforcement learning (PbRL) provides an effective way to overcome the challenges of designing reward and the high costs of online interaction. However, since labeling preference needs real-time human feedback, acquiring sufficient preference labels is challenging. To solve this, this paper proposes a offLine prEference-bAsed RL with high Sample Efficiency (LEASE) algorithm, where a learned transition model is leveraged to generate unlabeled preference data. Considering the pretrained reward model may generate incorrect labels for unlabeled data, we design an uncertainty-aware mechanism to ensure the performance of reward model, where only high confidence and low variance data are selected. Moreover, we provide the generalization bound of reward model to analyze the factors influencing reward accuracy, and demonstrate that the policy learned by LEASE has theoretical improvement guarantee. The developed theory is based on state-action pair, which can be easily combined with other offline algorithms. The experimental results show that LEASE can achieve comparable performance to baseline under fewer preference data without online interaction.
• Abstract（参考訳）: オフライン嗜好に基づく強化学習(PbRL)は、報酬設計の課題とオンラインインタラクションの高コストを克服する効果的な方法を提供する。 しかし,ラベル付けにはリアルタイムな人的フィードバックが必要であるため,適切な好みラベルを取得することは困難である。 そこで本研究では,学習した遷移モデルを利用してラベルなしの嗜好データを生成する,高いサンプル効率(LEASE)アルゴリズムを備えたoffLine prEference-bAsed RLを提案する。 事前学習した報奨モデルがラベルなしデータの誤ラベルを生成する可能性があることを考慮し、高い信頼性と低分散データのみを選択する報奨モデルの性能を保証する不確実性認識機構を設計する。 さらに、報酬モデルの適用範囲を一般化し、報酬精度に影響を与える要因を分析し、LEASEが学習したポリシーが理論的改善を保証することを示す。 開発された理論は状態-作用対に基づいており、他のオフラインアルゴリズムと簡単に組み合わせることができる。 実験の結果, LEASEは, オンラインインタラクションを伴わずに, より少ない嗜好データの下で, ベースラインに匹敵する性能を達成できることが示唆された。

関連論文リスト

• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [56.24431208419858]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Hindsight Preference Learning for Offline Preference-based Reinforcement Learning [22.870967604847458]
  オフライン選好に基づく強化学習(RL)は、オフラインデータセットから選択された軌道セグメントのペア間の人間の選好を使ってポリシーを最適化することに焦点を当てる。 本研究では,軌道セグメントの今後の成果を条件とした報酬を用いて,人間の嗜好をモデル化する。 提案手法であるHindsight Preference Learning (HPL) は,大規模な未ラベルデータセットで利用可能な膨大なトラジェクトリデータをフル活用することにより,クレジットの割り当てを容易にする。
  論文  参考訳（メタデータ） (2024-07-05T12:05:37Z)
• Preference Elicitation for Offline Reinforcement Learning [59.136381500967744]
  オフラインの嗜好に基づく強化学習アルゴリズムであるSim-OPRLを提案する。 本アルゴリズムは,配当外データに対する悲観的アプローチと,最適方針に関する情報的嗜好を得るための楽観的アプローチを用いる。
  論文  参考訳（メタデータ） (2024-06-26T15:59:13Z)
• Value-Incentivized Preference Optimization: A Unified Approach to Online and Offline RLHF [80.32171988565999]
  オンラインとオフラインのRLHFに統一的なアプローチを導入します。 VPOは、報酬関数の最大値推定を対応する値関数で正規化する。 テキスト要約とダイアログの実験は、VPOの実用性と有効性を検証する。
  論文  参考訳（メタデータ） (2024-05-29T17:51:42Z)
• Efficient Preference-based Reinforcement Learning via Aligned Experience Estimation [37.36913210031282]
  評価に基づく強化学習(PbRL)は、報酬工学を使わずにトレーニングエージェントに優れた能力を示す。 ラベルの平滑化とポリシー正則化を併用した効率的なPbRL法であるSEERを提案する。
  論文  参考訳（メタデータ） (2024-05-29T01:49:20Z)
• $i$REPO: $i$mplicit Reward Pairwise Difference based Empirical Preference Optimization [12.266207199002604]
  大規模言語モデル(LLM)は、人間の期待から外れた出力を生成することがある。 経験的選好最適化に暗黙的逆差分回帰を利用する,$i$REPO という新しいフレームワークを提案する。 i$REPOは, ソフトラベル, 自己生成応答, 経験的AIアノテータのロジットを用いて, 効果的に自己アライメントを実現することを示す。
  論文  参考訳（メタデータ） (2024-05-24T05:42:11Z)
• Model-based Offline Policy Optimization with Adversarial Network [0.36868085124383626]
  本稿では,新たなモデルベースオフラインポリシー最適化フレームワーク(MOAN)を提案する。 主なアイデアは、敵の学習を使って、より良い一般化を伴う遷移モデルを構築することである。 我々の手法は、広く研究されているオフラインRLベンチマークにおいて、最先端のベースラインよりも優れている。
  論文  参考訳（メタデータ） (2023-09-05T11:49:33Z)
• Data-Driven Offline Decision-Making via Invariant Representation Learning [97.49309949598505]
  オフラインのデータ駆動意思決定は、アクティブなインタラクションなしで最適化された決定を合成する。 オフラインデータからトレーニングされたモデルへの入力に関して最適化する場合、誤って良いように見えるアウト・オブ・ディストリビューション(OOD)インプットを生成するのは簡単です。 本稿では、オフラインデータ駆動意思決定をドメイン適応として定式化し、最適化された決定値の正確な予測を行うことを目標とする。
  論文  参考訳（メタデータ） (2022-11-21T11:01:37Z)
• Pessimistic Q-Learning for Offline Reinforcement Learning: Towards Optimal Sample Complexity [51.476337785345436]
  有限水平マルコフ決定過程の文脈におけるQ-ラーニングの悲観的変種について検討する。 ほぼ最適サンプル複雑性を実現するために,分散再現型悲観的Q-ラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-28T15:39:36Z)
• Decomposed Adversarial Learned Inference [118.27187231452852]
  我々は,DALI(Decomposed Adversarial Learned Inference)という新しいアプローチを提案する。 DALIは、データ空間とコード空間の両方の事前および条件分布を明示的に一致させる。 MNIST, CIFAR-10, CelebAデータセットにおけるDALIの有効性を検証する。
  論文  参考訳（メタデータ） (2020-04-21T20:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。