論文の概要: RA-PbRL: Provably Efficient Risk-Aware Preference-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2410.23569v4
• Date: Thu, 09 Jan 2025 13:30:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 13:56:39.094544
• Title: RA-PbRL: Provably Efficient Risk-Aware Preference-Based Reinforcement Learning
• Title（参考訳）: RA-PbRL:リスクを意識した推論に基づく強化学習
• Authors: Yujie Zhao, Jose Efraim Aguilar Escamill, Weyl Lu, Huazheng Wang,
• Abstract要約: 本稿では,ネストと静的の両方の目的を最適化するアルゴリズムであるリスク・アウェアPbRLを紹介する。 また, 後悔の上界を理論的に解析し, エピソード数に準線形であることを示すとともに, 経験的結果を示す。
• 参考スコア（独自算出の注目度）: 7.407106653769627
• License:
• Abstract: Reinforcement Learning from Human Feedback (RLHF) has recently surged in popularity, particularly for aligning large language models and other AI systems with human intentions. At its core, RLHF can be viewed as a specialized instance of Preference-based Reinforcement Learning (PbRL), where the preferences specifically originate from human judgments rather than arbitrary evaluators. Despite this connection, most existing approaches in both RLHF and PbRL primarily focus on optimizing a mean reward objective, neglecting scenarios that necessitate risk-awareness, such as AI safety, healthcare, and autonomous driving. These scenarios often operate under a one-episode-reward setting, which makes conventional risk-sensitive objectives inapplicable. To address this, we explore and prove the applicability of two risk-aware objectives to PbRL : nested and static quantile risk objectives. We also introduce Risk-AwarePbRL (RA-PbRL), an algorithm designed to optimize both nested and static objectives. Additionally, we provide a theoretical analysis of the regret upper bounds, demonstrating that they are sublinear with respect to the number of episodes, and present empirical results to support our findings. Our code is available in https://github.com/aguilarjose11/PbRLNeurips.
• Abstract（参考訳）: Reinforcement Learning from Human Feedback (RLHF)は、特に大規模言語モデルや他のAIシステムを人間の意図に合わせるために、最近人気が高まっている。 RLHFは、優先順位に基づく強化学習(PbRL)の特殊な例と見なすことができる。 この接続にもかかわらず、RLHFとPbRLの既存のアプローチのほとんどは、平均的な報酬目標の最適化に重点を置いており、AI安全性、ヘルスケア、自動運転といったリスク認識を必要とするシナリオを無視している。 これらのシナリオは、通常、リスクに敏感な目標を適用できない、ワン・エポソード・リワード・セッティングの下で運用されることが多い。 そこで我々は,PbRLに対するリスク認識の2つの目標 : ネスト型と静的な量子的リスク目標の適用性について検討し,その妥当性を検証した。 また,ネストと静的の両方を最適化するアルゴリズムであるRass-AwarePbRL(RA-PbRL)を導入する。 さらに, 後悔の上界を理論的に解析し, エピソード数に関してサブラインであることを示すとともに, 実験結果を示す。 私たちのコードはhttps://github.com/aguilarjose11/PbRLNeuripsで利用可能です。

関連論文リスト

• Evaluating the Paperclip Maximizer: Are RL-Based Language Models More Likely to Pursue Instrumental Goals? [33.11148546999906]
  主な関心事は、テキスト構造収束(textitinstrumental convergence)である。AIシステムは、究極の目標を覆い、人間の意図した目標から逸脱する意図しない中間目標を開発する。 この問題は特に強化学習(RL)訓練モデルに関係しており、報酬を最大化するために創造的だが意図しない戦略を生成することができる。 また,RL駆動モデルでは,目標指向行動の最適化が人間の意図に反する可能性があるため,楽器収束の傾向が強いことを示す。
  論文  参考訳（メタデータ） (2025-02-16T16:29:20Z)
• Iterative Nash Policy Optimization: Aligning LLMs with General Preferences via No-Regret Learning [55.65738319966385]
  我々は、新しいオンラインアルゴリズム、反復的ナッシュポリシー最適化(INPO)を提案する。 従来の方法とは異なり、INPOは個々の応答に対する期待される勝利率を推定する必要性を回避している。 LLaMA-3-8BベースのSFTモデルで、INPOはAlpacaEval 2.0で42.6%、Arena-Hardで37.8%の勝利率を達成した。
  論文  参考訳（メタデータ） (2024-06-30T08:00:34Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Contrastive Preference Learning: Learning from Human Feedback without RL [71.77024922527642]
  本稿では、報酬関数を学習せずに好みから最適なポリシーを学習するアルゴリズムであるContrastive Preference Learning (CPL)を紹介する。 CPLは完全に非政治的であり、単純なコントラスト目的のみを使用し、任意のMDPに適用できる。
  論文  参考訳（メタデータ） (2023-10-20T16:37:56Z)
• A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
  本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。 安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。 安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-07T18:29:15Z)
• B-Pref: Benchmarking Preference-Based Reinforcement Learning [84.41494283081326]
  我々は、好みベースのRL用に特別に設計されたベンチマークであるB-Prefを紹介する。 このようなベンチマークにおける重要な課題は、候補アルゴリズムをすばやく評価する機能を提供することだ。 B-Prefは、幅広い不合理性を持つ教師をシミュレートすることでこれを緩和する。
  論文  参考訳（メタデータ） (2021-11-04T17:32:06Z)
• Preference-based Reinforcement Learning with Finite-Time Guarantees [76.88632321436472]
  嗜好に基づく強化学習(PbRL)は、従来の強化学習における報酬価値を代替し、目標とする目的に対する人間の意見をよりよく提示する。 応用の有望な結果にもかかわらず、PbRLの理論的理解はまだ初期段階にある。 一般PbRL問題に対する最初の有限時間解析を提案する。
  論文  参考訳（メタデータ） (2020-06-16T03:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。