論文の概要: Logarithmic Regret for Online KL-Regularized Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2502.07460v2
• Date: Tue, 18 Feb 2025 13:55:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:04:23.020151
• Title: Logarithmic Regret for Online KL-Regularized Reinforcement Learning
• Title（参考訳）: オンラインKL正規化強化学習のための対数レグレット
• Authors: Heyang Zhao, Chenlu Ye, Wei Xiong, Quanquan Gu, Tong Zhang,
• Abstract要約: KL正規化は、大規模言語モデルにおけるRL微調整の効率向上に重要な役割を果たしている。 経験的優位性にもかかわらず、KL-正則化RLと標準RLの理論的相違はほとんど未探索のままである。 楽観的なKL正規化オンライン文脈帯域幅アルゴリズムを提案し,その後悔の新たな分析法を提案する。
• 参考スコア（独自算出の注目度）: 51.113248212150964
• License:
• Abstract: Recent advances in Reinforcement Learning from Human Feedback (RLHF) have shown that KL-regularization plays a pivotal role in improving the efficiency of RL fine-tuning for large language models (LLMs). Despite its empirical advantage, the theoretical difference between KL-regularized RL and standard RL remains largely under-explored. While there is a recent line of work on the theoretical analysis of KL-regularized objective in decision making \citep{xiong2024iterative, xie2024exploratory,zhao2024sharp}, these analyses either reduce to the traditional RL setting or rely on strong coverage assumptions. In this paper, we propose an optimism-based KL-regularized online contextual bandit algorithm, and provide a novel analysis of its regret. By carefully leveraging the benign optimization landscape induced by the KL-regularization and the optimistic reward estimation, our algorithm achieves an $\mathcal{O}\big(\eta\log (N_{\mathcal R} T)\cdot d_{\mathcal R}\big)$ logarithmic regret bound, where $\eta, N_{\mathcal R},T,d_{\mathcal R}$ denote the KL-regularization parameter, the cardinality of the reward function class, number of rounds, and the complexity of the reward function class. Furthermore, we extend our algorithm and analysis to reinforcement learning by developing a novel decomposition over transition steps and also obtain a similar logarithmic regret bound.
• Abstract（参考訳）: 近年のRLHF(Reinforcement Learning from Human Feedback)の進歩は,大規模言語モデル(LLM)におけるRL微調整の効率向上において,KL規則化が重要な役割を担っていることを示している。 経験的優位性にもかかわらず、KL-正則化RLと標準RLの理論的相違はほとんど未探索のままである。 意思決定におけるKL-正則化目標の理論的分析に関する最近の研究のラインがあるが、これらの分析は従来のRL設定に還元されるか、強いカバレッジの仮定に依存する。 本稿では,楽観主義に基づくKL規則化オンラインコンテクストバンディットアルゴリズムを提案し,その後悔の新たな分析法を提案する。 KL-正規化と楽観的な報酬推定によって引き起こされる良質な最適化景観を慎重に活用することにより、我々のアルゴリズムは、$\eta\log (N_{\mathcal R} T)\cdot d_{\mathcal R}\big)$ logarithmic regret bound, ここで、$\eta, N_{\mathcal R},T,d_{\mathcal R}$は、KL-正規化パラメータ、報酬関数クラスの濃度、ラウンド数、報酬関数クラスの複雑さを表す。 さらに,遷移過程の新たな分解法を開発することにより,アルゴリズムと分析を強化学習に拡張し,類似の対数的後悔境界を得る。

関連論文リスト

• Sharp Analysis for KL-Regularized Contextual Bandits and RLHF [52.519416266840814]
  Reverse-Kullback-Leibler (KL) 正則化は、強化学習におけるポリシー最適化を強化する主要な手法である。 単純な2段階混合サンプリング戦略は, カバー係数に付加的な依存しか持たずに, サンプルの複雑さを達成できることが示される。 この結果は,より効率的なRLHFアルゴリズムの設計に光を当て,KL正規化とRLHFにおけるデータカバレッジの役割を包括的に理解するものである。
  論文  参考訳（メタデータ） (2024-11-07T11:22:46Z)
• Demonstration-Regularized RL [39.96273388393764]
  専門的な実証から,次数$widetildeO(mathrmPoly(S,A,H)/(varepsilon2 NmathrmE)$および$widetildeO(mathrmPoly(d,H)/(varepsilon2 NmathrmE)$の線形マルコフ決定過程における最適ポリシを同定した。 実演規則化手法が人間のフィードバックからの強化学習に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-26T10:54:47Z)
• Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo [104.9535542833054]
  我々は、強化学習のためのトンプソンサンプリングに基づくスケーラブルで効果的な探索戦略を提案する。 代わりに、Langevin Monte Carlo を用いて、Q 関数をその後部分布から直接サンプリングする。 提案手法は,Atari57スイートからのいくつかの挑戦的な探索課題において,最先端の深部RLアルゴリズムと比較して,より優れた,あるいは類似した結果が得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:11:28Z)
• Rényi Divergence Deep Mutual Learning [3.682680183777648]
  本稿では,Deep Learning Mutual (DML) を,単純かつ効果的な計算パラダイムとして再考する。 より柔軟で限定的なKL発散の代わりにR'enyi発散を提案する。 我々の経験的結果は、DMLとR'enyiの発散を併用した利点を示し、モデル一般化のさらなる改善につながった。
  論文  参考訳（メタデータ） (2022-09-13T04:58:35Z)
• Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward [66.81579829897392]
  我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。 PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。 私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
  論文  参考訳（メタデータ） (2022-06-13T19:11:22Z)
• Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation [107.54516740713969]
  本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。 各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。 一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:03:24Z)
• Towards Tractable Optimism in Model-Based Reinforcement Learning [37.51073590932658]
  成功させるためには、楽観的なRLアルゴリズムは真の値関数(最適化)を過大に見積もる必要があるが、不正確な(推定誤差)ほどではない。 我々は,これらのスケーラブルな楽観的モデルベースアルゴリズムを,トラクタブルノイズ拡張MDPの解法として再解釈する。 この誤差が低減された場合、楽観的なモデルベースRLアルゴリズムは、連続制御問題における最先端性能と一致することを示す。
  論文  参考訳（メタデータ） (2020-06-21T20:53:19Z)
• Leverage the Average: an Analysis of KL Regularization in RL [44.01222241795292]
  Kullback-Leibler (KL) 正則化がq-値を暗黙的に平均化することを示す。 非常に強力なパフォーマンスバウンダリを提供しており、最初に2つの望ましい側面を組み合わせています。 我々の仮定のいくつかはニューラルネットワークには当てはまらないので、この理論解析を広範な実証研究で補完する。
  論文  参考訳（メタデータ） (2020-03-31T10:55:06Z)
• Upper Confidence Primal-Dual Reinforcement Learning for CMDP with Adversarial Loss [145.54544979467872]
  マルコフ決定過程(CMDP)に対するオンライン学習の検討 本稿では,遷移モデルから標本化した軌跡のみを必要とする,新しいEmphupper confidence primal-dualアルゴリズムを提案する。 我々の分析では、ラグランジュ乗算過程の新たな高確率ドリフト解析を、高信頼強化学習の記念後悔解析に組み入れている。
  論文  参考訳（メタデータ） (2020-03-02T05:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。