論文の概要: S3AC: Stabilized, Selective, and Scalable Actor-Critic for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2610.35518v1
• Date: Mon, 26 Oct 2026 14:38:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.033408
• Title: S3AC: Stabilized, Selective, and Scalable Actor-Critic for LLM Reasoning
• Title（参考訳）: S3AC: LLM推論のための安定化、選択、スケーラブルなアクタクリティカル
• Abstract要約: 批判のない手法は、長いチェーン・オブ・シークレット(CoT)推論のための検証可能な報酬(RLVR)を用いた強化学習に広く用いられている。 一般的な代替手段はトークンレベルのクレジット代入がなく、通常、プロンプト固有のベースラインを推定するためにグループ化されたロールアウトに依存する。 S3ACは、トークン固有の利点とプロンプト固有のベースラインを提供するために、実用的な批判訓練のレシピの上に構築されている。
• 参考スコア（独自算出の注目度）: 29.302884154306785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Critic-free methods are widely used in reinforcement learning with verifiable rewards (RLVR) for long chain-of-thought (CoT) reasoning, avoiding difficult and costly critic training. Common alternatives lack token-level credit assignment and typically rely on grouped rollouts to estimate prompt-specific baselines. A critic can address both limitations, but long-CoT critic training is hindered by insufficient coverage of trajectories with diverse lengths and early gradients dominated by the newly initialized value head. We introduce S3AC (Stabilized, Selective, and Scalable Actor-Critic) for LLM reasoning, built around a practical critic-training recipe. The trained critic provides token-specific advantages and prompt-specific baselines. Using the prompt-level baseline to estimate difficulty, we propose Difficulty-Aware Prompt Sampling (DAPS). DAPS combines this estimate with outcome history to select prompts before generation, reducing rollout waste without offline difficulty initialization. S3AC improves group-rollout performance across dense and mixture-of-experts models from 1.5B to 397B parameters, outperforming a modern GRPO variant (GRPO-X). At 35B, it sustains single-rollout training while tested critic-free baselines deteriorate after initial gains.
• Abstract（参考訳）: 批判のない手法は、長いチェーン・オブ・シークレット(CoT)推論のための検証可能な報酬(RLVR)を用いた強化学習で広く使われており、困難でコストのかかる批判的トレーニングを避けている。 一般的な代替手段はトークンレベルのクレジット代入がなく、通常、プロンプト固有のベースラインを推定するためにグループ化されたロールアウトに依存する。 批評家はどちらの制限にも対処できるが、長いCoT批評家の訓練は、様々な長さの軌跡のカバー不足と、新しく初期化されたバリューヘッドが支配する初期の勾配によって妨げられる。 LLM推論のためのS3AC (Stabilized, Selective, and Scalable Actor-Critic) を導入する。 訓練された批評家はトークン固有の利点とプロンプト固有のベースラインを提供する。 本稿では,難易度推定のためのプロンプトレベルベースラインを用いて,DAPS(Difficulty-Aware Prompt Smpling)を提案する。 DAPSはこの推定を結果履歴と組み合わせて生成前のプロンプトを選択することで、オフラインの難易度初期化を伴わないロールアウトムダを削減する。 S3ACは、1.5Bから397Bパラメータの高密度モデルと混成モデルのグループロールアウト性能を改善し、現代のGRPO-X(GRPO-X)よりも優れている。 35Bではシングルロールのトレーニングを継続し、最初のゲイン後にレビューなしのベースラインが劣化する。

関連論文リスト

• Unlocking the Critic: Reward-Free Policy Optimization for LLM Post-Training [12.188582747728931]
  我々は、事前訓練された批評家が将来の成果を予測する能力は、効率的なロングホライゾン推論のための貴重な資産となることを示している。 本稿では,リワードフリーポリシー最適化(RFPO)を紹介する。
  論文  参考訳（メタデータ） (2026-09-29T09:28:57Z)
• Best Practice Critic Optimization [23.2221736020451]
  批判に基づくトレーニングのレシピは、しばしば不安定である。 DPPO,報酬範囲に束縛された値予測,モンテカルロ値の目標,非正規化ポリシの優位性,長さ適応型汎用的優位性推定を組み合わせたレシピを開発した。
  論文  参考訳（メタデータ） (2026-08-24T17:59:39Z)
• What If Consensus Lies? Selective-Complementary Reinforcement Learning at Test Time [57.533031432715084]
  TTRL(Test-Time Reinforcement Learning)は、Large Language Models(LLM)が、ラベルのないテストストリームの推論能力を向上することを可能にする。 既存のTTRL法は、正の擬似ラベル戦略にのみ依存している。 本研究では,ラベル雑音増幅を効果的に緩和する堅牢なテスト時間強化学習フレームワークであるSCRLを提案する。
  論文  参考訳（メタデータ） (2026-03-20T11:47:12Z)
• Asymmetric Proximal Policy Optimization: mini-critics boost LLM reasoning [49.57517969069136]
  Asymmetric Proximal Policy Optimization (AsyPPO) は、大規模なモデル設定で効率を保ちながら、批評家の役割を回復するシンプルでスケーラブルなフレームワークである。 AsyPPOは軽量のミニ批評家を採用しており、それぞれが切り離されたプロンプトシャードで訓練されている。 強力なベースラインを越えて、複数のベンチマークで学習の安定性とパフォーマンスを継続的に改善する。
  論文  参考訳（メタデータ） (2025-10-02T04:24:27Z)
• Unearthing Gems from Stones: Policy Optimization with Negative Sample Augmentation for LLM Reasoning [41.83677588934301]
  負のサンプル拡張(BCPG-NSA)による行動制約付きポリシーのグラディエントを提案する。 BCPG-NSA は,1) サンプルセグメンテーション,2) LLM と PRM を併用した合意に基づくステップ正当性評価,3) 正のステップを負のサンプル内で効果的にマイニングするNSA とのポリシー最適化の3段階を含む,詳細なオフラインフレームワークである。 実験の結果、BCPG-NSAは、同じトレーニングデータセットを使用して、いくつかの挑戦的な数学/コーディング推論ベンチマークのベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2025-05-20T14:16:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。