論文の概要: RA-PbRL: Provably Efficient Risk-Aware Preference-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2410.23569v3
• Date: Mon, 06 Jan 2025 14:44:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:02:39.106447
• Title: RA-PbRL: Provably Efficient Risk-Aware Preference-Based Reinforcement Learning
• Title（参考訳）: RA-PbRL:リスクを意識した推論に基づく強化学習
• Authors: Yujie Zhao, Jose Efraim Aguilar Escamill, Weyl Lu, Huazheng Wang,
• Abstract要約: 本稿では,ネストと静的の両方の目的を最適化するアルゴリズムであるリスク・アウェアPbRLを紹介する。 また, 後悔の上界を理論的に解析し, エピソード数に準線形であることを示すとともに, 経験的結果を示す。
• 参考スコア（独自算出の注目度）: 7.407106653769627
• License:
• Abstract: Reinforcement Learning from Human Feedback (RLHF) has recently surged in popularity, particularly for aligning large language models and other AI systems with human intentions. At its core, RLHF can be viewed as a specialized instance of Preference-based Reinforcement Learning (PbRL), where the preferences specifically originate from human judgments rather than arbitrary evaluators. Despite this connection, most existing approaches in both RLHF and PbRL primarily focus on optimizing a mean reward objective, neglecting scenarios that necessitate risk-awareness, such as AI safety, healthcare, and autonomous driving. These scenarios often operate under a one-episode-reward setting, which makes conventional risk-sensitive objectives inapplicable. To address this, we explore and prove the applicability of two risk-aware objectives to PbRL : nested and static quantile risk objectives. We also introduce Risk-AwarePbRL (RA-PbRL), an algorithm designed to optimize both nested and static objectives. Additionally, we provide a theoretical analysis of the regret upper bounds, demonstrating that they are sublinear with respect to the number of episodes, and present empirical results to support our findings. Our code is available in https://github.com/aguilarjose11/PbRLNeurips.
• Abstract（参考訳）: Reinforcement Learning from Human Feedback (RLHF)は、特に大規模言語モデルや他のAIシステムを人間の意図に合わせるために、最近人気が高まっている。 RLHFは、優先順位に基づく強化学習(PbRL)の特殊な例と見なすことができる。 この接続にもかかわらず、RLHFとPbRLの既存のアプローチのほとんどは、平均的な報酬目標の最適化に重点を置いており、AI安全性、ヘルスケア、自動運転といったリスク認識を必要とするシナリオを無視している。 これらのシナリオは、通常、リスクに敏感な目標を適用できない、ワン・エポソード・リワード・セッティングの下で運用されることが多い。 そこで我々は,PbRLに対するリスク認識の2つの目標 : ネスト型と静的な量子的リスク目標の適用性について検討し,その妥当性を検証した。 また,ネストと静的の両方を最適化するアルゴリズムであるRass-AwarePbRL(RA-PbRL)を導入する。 さらに, 後悔の上界を理論的に解析し, エピソード数に関してサブラインであることを示すとともに, 実験結果を示す。 私たちのコードはhttps://github.com/aguilarjose11/PbRLNeuripsで利用可能です。

関連論文リスト

• Risk-Sensitive RL with Optimized Certainty Equivalents via Reduction to Standard RL [48.1726560631463]
  我々は,OCE(Optimized Certainty Equivalent)リスクを用いたリスク感性強化学習について検討した。 標準RLへの還元による2つの一般的なメタアルゴリズムを提案する。 我々は,事前アルゴリズムが確実に失敗する間に,最適リスク感応ポリシーを学習することを示す。
  論文  参考訳（メタデータ） (2024-03-10T21:45:12Z)
• On the Theory of Risk-Aware Agents: Bridging Actor-Critic and Economics [0.7655800373514546]
  リスク対応強化学習アルゴリズムは、さまざまな継続的なタスクにおいて、リスクニュートラルなアルゴリズムよりも優れていた。 これらのアルゴリズムが採用する悲観的目的の理論的基礎は、まだ確立されていない。 本稿では,2つのアクターネットワークを特徴とするリスク認識型モデルフリーアルゴリズムとして,Dual Actor-Critic (DAC)を提案する。
  論文  参考訳（メタデータ） (2023-10-30T13:28:06Z)
• Risk-Aware Reinforcement Learning through Optimal Transport Theory [4.8951183832371]
  本稿では、リスク対応フレームワークを構築するために、最適輸送理論と強化学習(RL)の統合を開拓する。 提案手法は目的関数を修正し,得られたポリシが期待される報酬を最大化するだけでなく,OT距離によって規定されるリスク制約も尊重する。 我々の貢献は、リスク分布、最適値関数、政策行動の間の関係をマッピングする一連の定理で裏付けられている。
  論文  参考訳（メタデータ） (2023-09-12T13:55:01Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• B-Pref: Benchmarking Preference-Based Reinforcement Learning [84.41494283081326]
  我々は、好みベースのRL用に特別に設計されたベンチマークであるB-Prefを紹介する。 このようなベンチマークにおける重要な課題は、候補アルゴリズムをすばやく評価する機能を提供することだ。 B-Prefは、幅広い不合理性を持つ教師をシミュレートすることでこれを緩和する。
  論文  参考訳（メタデータ） (2021-11-04T17:32:06Z)
• Risk-Averse Offline Reinforcement Learning [46.383648750385575]
  高度なアプリケーションでRL(Training Reinforcement Learning)エージェントを訓練することは、探索に伴うリスクのため、あまりにも禁じられている可能性がある。 O-RAAC(Offline Risk-Averse Actor-Critic)は,完全オフライン環境でリスク-Averseポリシーを学習可能なモデルフリーRLアルゴリズムである。
  論文  参考訳（メタデータ） (2021-02-10T10:27:49Z)
• Provably Efficient Algorithms for Multi-Objective Competitive RL [54.22598924633369]
  エージェントの報酬がベクトルとして表現される多目的強化学習(RL)について検討する。 エージェントが相手と競合する設定では、その平均戻りベクトルから目標セットまでの距離によってその性能を測定する。 統計的および計算学的に効率的なアルゴリズムを開発し、関連するターゲットセットにアプローチする。
  論文  参考訳（メタデータ） (2021-02-05T14:26:00Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• Preference-based Reinforcement Learning with Finite-Time Guarantees [76.88632321436472]
  嗜好に基づく強化学習(PbRL)は、従来の強化学習における報酬価値を代替し、目標とする目的に対する人間の意見をよりよく提示する。 応用の有望な結果にもかかわらず、PbRLの理論的理解はまだ初期段階にある。 一般PbRL問題に対する最初の有限時間解析を提案する。
  論文  参考訳（メタデータ） (2020-06-16T03:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。