論文の概要: $Q\sharp$: Provably Optimal Distributional RL for LLM Post-Training

• arxiv url: http://arxiv.org/abs/2502.20548v1
• Date: Thu, 27 Feb 2025 21:43:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:44:23.445497
• Title: $Q\sharp$: Provably Optimal Distributional RL for LLM Post-Training
• Title（参考訳）: $Q\sharp$: LLMポストトライニングのためのおそらく最適分布RL
• Authors: Jin Peng Zhou, Kaiwen Wang, Jonathan Chang, Zhaolin Gao, Nathan Kallus, Kilian Q. Weinberger, Kianté Brantley, Wen Sun,
• Abstract要約: $Qsharp$ は KL 正規化 RL の値に基づくアルゴリズムで、最適な正規化 $Q$ 関数を使用して参照ポリシーを導出する。 この結果から,LLMのポストトレーニングに有効なアプローチとして$Qsharp$が注目され,性能と理論的保証が向上した。
• 参考スコア（独自算出の注目度）: 60.01594991938747
• License:
• Abstract: Reinforcement learning (RL) post-training is crucial for LLM alignment and reasoning, but existing policy-based methods, such as PPO and DPO, can fall short of fixing shortcuts inherited from pre-training. In this work, we introduce $Q\sharp$, a value-based algorithm for KL-regularized RL that guides the reference policy using the optimal regularized $Q$ function. We propose to learn the optimal $Q$ function using distributional RL on an aggregated online dataset. Unlike prior value-based baselines that guide the model using unregularized $Q$-values, our method is theoretically principled and provably learns the optimal policy for the KL-regularized RL problem. Empirically, $Q\sharp$ outperforms prior baselines in math reasoning benchmarks while maintaining a smaller KL divergence to the reference policy. Theoretically, we establish a reduction from KL-regularized RL to no-regret online learning, providing the first bounds for deterministic MDPs under only realizability. Thanks to distributional RL, our bounds are also variance-dependent and converge faster when the reference policy has small variance. In sum, our results highlight $Q\sharp$ as an effective approach for post-training LLMs, offering both improved performance and theoretical guarantees. The code can be found at https://github.com/jinpz/q_sharp.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、LLMのアライメントと推論において重要であるが、PPOやDPOのような既存のポリシーベースの手法は、事前学習から継承したショートカットの修正に不足する可能性がある。 本稿では、KL正規化RLの値に基づくアルゴリズムである$Q\sharp$を導入し、最適な正規化$Q$関数を用いて参照ポリシーを導出する。 集約されたオンラインデータセット上で分布RLを用いて最適な$Q$関数を学習することを提案する。 非正規化$Q$-valuesを用いてモデルを導出する従来の値ベースラインとは異なり、この手法は理論的に原理化され、KL正規化RL問題に対する最適ポリシーを確実に学習する。 実証的に、$Q\sharp$は、参照ポリシーへのより小さなKL分散を維持しながら、数学推論ベンチマークの以前のベースラインを上回ります。 理論的には、KL-正規化RLから非正規化オンライン学習への還元を確立し、実現可能性のみに基づく決定論的MDPの第一限界を提供する。 分布RLにより、我々の境界は分散に依存し、参照ポリシーが小さな分散を持つ場合、より早く収束する。 総じて、LLMのポストトレーニングに有効なアプローチとして$Q\sharp$が注目され、性能と理論的保証が向上した。 コードはhttps://github.com/jinpz/q_sharp.comにある。

関連論文リスト

• Transfer Q Star: Principled Decoding for LLM Alignment [105.89114186982972]
  Transfer $Q*$は、ベースラインモデルを通してターゲット報酬$r$の最適値関数を推定する。 提案手法は, 従来のSoTA法で観測された準最適差を著しく低減する。
  論文  参考訳（メタデータ） (2024-05-30T21:36:12Z)
• Towards Robust Model-Based Reinforcement Learning Against Adversarial Corruption [60.958746600254884]
  本研究は、モデルベース強化学習(RL)における敵対的腐敗の課題に取り組む。 本稿では,MLE に対する不確実性重みとして全変量 (TV) に基づく情報比を利用する,汚損楽観的 MLE (CR-OMLE) アルゴリズムを提案する。 我々は、重み付け手法をオフライン設定にまで拡張し、汚損性悲観的MLE (CR-PMLE) というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-14T07:27:30Z)
• RL$^3$: Boosting Meta Reinforcement Learning via RL inside RL$^2$ [12.111848705677142]
  メタRLへの入力において、従来のRLを介してタスク毎に学習されるアクション値を含むハイブリッドアプローチであるRL$3$を提案する。 RL$3$は、RL$2$に比べて長期で累積報酬が大きくなる一方で、メタトレーニング時間を大幅に削減し、アウト・オブ・ディストリビューションタスクをより一般化することを示す。
  論文  参考訳（メタデータ） (2023-06-28T04:16:16Z)
• Offline Primal-Dual Reinforcement Learning for Linear MDPs [16.782625445546273]
  オフライン強化学習(RL)は、他のポリシによって収集されたトランジションの固定データセットから、ほぼ最適なポリシを学ぶことを目的としている。 本稿では,RLの線形プログラミング定式化に基づく原始双対最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T11:45:23Z)
• LCRL: Certified Policy Synthesis via Logically-Constrained Reinforcement Learning [78.2286146954051]
  LCRLは未知決定プロセス(MDP)上でのモデルフリー強化学習(RL)アルゴリズムを実装している 本稿では,LCRLの適用性,使いやすさ,拡張性,性能を示すケーススタディを提案する。
  論文  参考訳（メタデータ） (2022-09-21T13:21:00Z)
• Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation [107.54516740713969]
  本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。 各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。 一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:03:24Z)
• Online Sub-Sampling for Reinforcement Learning with General Function Approximation [111.01990889581243]
  本稿では,RLアルゴリズムによって収集されたデータポイントの情報取得量を測定する,効率的なオンラインサブサンプリングフレームワークを確立する。 複雑性バウンド関数クラスを持つ値ベースのメソッドの場合、$proptooperatornamepolylog(K)$ timesに対してのみポリシーを更新する必要がある。 少なくとも$Omega(K)$倍のポリシーを更新する既存のアプローチとは対照的に、当社のアプローチはポリシーの解決における最適化コールの数を劇的に削減します。
  論文  参考訳（メタデータ） (2021-06-14T07:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。