論文の概要: Complementing reinforcement learning with SFT through logit averaging in the post training of LLMs

• arxiv url: http://arxiv.org/abs/2605.20555v1
• Date: Tue, 19 May 2026 23:15:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.410533
• Title: Complementing reinforcement learning with SFT through logit averaging in the post training of LLMs
• Title（参考訳）: LLMのポストトレーニングにおけるロジット平均化によるSFTによる強化学習の補完
• Authors: Xingwei Gan, Ying Zhu,
• Abstract要約: 本稿では,凍結参照ポリシ(例えば,SFT)とトレーニング可能なポリシのロジットを平均化する新しい手法を提案する。 本手法はMATH, cn-k, MMLUを用いて評価し, 標準KL12, 正規化GRPOと比較して高い精度, 少なくとも同等の精度を示した。
• 参考スコア（独自算出の注目度）: 2.243206998586006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a novel method that averages the logits of a frozen reference policy (e.g., SFT) and a trainable policy, and incorporate the method into Group Relative Policy Optimization (GRPO). In contrast to Reinforcement Learning with Verifiable Rewards (RLVR) methods, our proposal does not involve a Kullback Leibler (KL) regularization or critic; the trainable policy and the reference anchor are coupled through the logit averaging structure to leverage the reasoning expertise of the trainable policy while maintaining the formatting advantage of SFT. Our method is evaluated on MATH, cn-k12, and MMLU, and the results show a higher accuracy or at least comparable accuracy relative to the canonical KL-regularized GRPO.
• Abstract（参考訳）: 本稿では,凍結参照ポリシ(例えば,SFT)とトレーニング可能なポリシのロジットを平均化し,この手法をグループ相対ポリシー最適化(GRPO)に組み込む新しい手法を提案する。 RLVR(Reinforcement Learning with Verifiable Rewards)法とは対照的に,本提案ではKL(Kullback Leibler)正則化や批判を含まない。 本手法はMATH, cn-k12, MMLUを用いて評価し, 標準KL正則化GRPOと比較して高い精度, 少なくとも同等の精度を示した。

関連論文リスト

• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
  強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。 トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。 我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
  論文  参考訳（メタデータ） (2026-01-30T08:47:19Z)
• Bootstrapping LLMs via Preference-Based Policy Optimization [11.796630967998544]
  大きな言語モデル(LLM)を優先ベースのポリシー最適化を通じてブートストラップすることで、モデルの振る舞いと人間の好みを整合させる、有望な方向を提供する。 本稿では,学習過程を主方針と報奨モデルの間のmin-maxゲームとして定式化する,新たな嗜好ベースの政策最適化フレームワークを提案する。 我々のアプローチは、既存の最先端の選好最適化技術より一貫して優れている。
  論文  参考訳（メタデータ） (2025-11-17T01:41:14Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• On the Design of KL-Regularized Policy Gradient Algorithms for LLM Reasoning [59.11784194183928]
  政策勾配アルゴリズムは大規模言語モデル(LLM)の推論能力の向上に成功している。 規則化されたポリシーグラディエント(RPG)ビューは、広く使われている$k_3$ペナルティが、正確には非正規化されたKLであることを示している。 RPG-REINFORCE with RPG-Style Clipは、DAPOよりも最大6ドル以上の絶対パーセンテージポイントの精度を向上させる。
  論文  参考訳（メタデータ） (2025-05-23T06:01:21Z)
• Trajectory Bellman Residual Minimization: A Simple Value-Based Method for LLM Reasoning [55.33984461046492]
  現在、政策に基づく手法が大規模言語モデル(LLM)推論のための強化学習パイプラインを支配している。 本稿では,このアイデアを LLM に自然に適応させるアルゴリズムである Trajectory Bellman Residual Minimization (TBRM) を紹介する。 我々は、軌道の軌道変更-測度分析の改善により、任意のオフ政治から、最適に近いKL正規化政策への収束を証明した。
  論文  参考訳（メタデータ） (2025-05-21T09:41:53Z)
• CPGD: Toward Stable Rule-based Reinforcement Learning for Language Models [11.295986905174635]
  ルールベース強化学習(RL)は、ルールベース報酬を用いた言語モデル(LM)の推論能力を改善した。 既存のRLメソッドは、大きなポリシー更新と不適切なクリッピングがトレーニングの崩壊につながるような、トレーニングの不安定さに悩まされることが多い。 本稿では,政策学習の安定化を目的とした新しいアルゴリズムCPGDを提案する。
  論文  参考訳（メタデータ） (2025-05-18T17:44:53Z)
• Contrastive Policy Gradient: Aligning LLMs on sequence-level scores in a supervised-friendly fashion [43.77763433288893]
  コントラストポリシーグラディエント(Contrastive Policy Gradient, COPG)は、単純かつ数学的に原理化された新しいRLアルゴリズムである。 本稿では,直接アライメント手法のIPO(アイデンティティ優先最適化)と古典的政策勾配を一般化する手法を提案する。 提案したCOPGをおもちゃのバンディット問題で実験し,その特性を説明するとともに,要約タスクでLLMを微調整する。
  論文  参考訳（メタデータ） (2024-06-27T14:03:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。