論文の概要: ACPO: Adaptive Credit Policy Optimization via Fine-Grained Surrogate Entropy

• arxiv url: http://arxiv.org/abs/2607.03126v2
• Date: Tue, 07 Jul 2026 03:50:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 14:37:43.096775
• Title: ACPO: Adaptive Credit Policy Optimization via Fine-Grained Surrogate Entropy
• Title（参考訳）: ACPO: 細粒化サロゲートエントロピーによる適応的信用政策最適化
• Abstract要約: モードローカル・サロゲート・エントロピーに基づくトークンレベルの信用割当フレームワークを提案する。 ACPOは、成功したロールアウトにおける不確実な決定と失敗したロールアウトにおける過信トークンを強調して、ポリシー更新を非対称に調整する。 AIME 2025やHumanEvalProなどの数学的推論とコーディングベンチマークの実験は、ACPOが強いRLベースラインよりも一貫して改善していることを示している。
• 参考スコア（独自算出の注目度）: 45.28312869386833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning (RL) has substantially improved the reasoning ability of large language models (LLMs), but sparse outcome rewards still make token-level credit assignment difficult. Existing scalable RL methods typically assign trajectory-level rewards uniformly across tokens, while recent entropy-aware approaches either rely on coarse detached heuristics or directly optimize true entropy, which can introduce non-local gradient components misaligned with sampled-token policy updates. We propose Adaptive Credit Policy Optimization (ACPO), a token-level credit assignment framework based on a mode-local surrogate entropy. ACPO asymmetrically modulates policy updates by emphasizing uncertain decisions in successful rollouts and overconfident tokens in failed rollouts. We show that the surrogate admits deterministic entropy bounds and, under modal alignment and proximal updates, preserves the policy-gradient direction to leading order. Experiments on mathematical reasoning and coding benchmarks, including AIME 2025 and HumanEvalPro, show that ACPO consistently improves over strong RL baselines such as DAPO, GTPO, and SAPO.
• Abstract（参考訳）: 強化学習(RL)は、大規模言語モデル(LLM)の推論能力を大幅に向上させたが、希少な結果報酬はトークンレベルの信用代入を困難にしている。 既存のスケーラブルなRL法では、トークン間で一様に軌道レベルの報酬を割り当てるのが一般的であるが、最近のエントロピー認識アプローチは粗い分離ヒューリスティックに依存するか、真エントロピーを直接最適化する。 本稿では,モードローカル・サロゲート・エントロピーに基づくトークンレベル・クレジット・アサインメント・フレームワークであるアダプティブ・クレジット・ポリシー・オプティマイズ(ACPO)を提案する。 ACPOは、成功したロールアウトにおける不確実な決定と失敗したロールアウトにおける過信トークンを強調して、ポリシー更新を非対称に調整する。 本報告では, サロゲートが決定論的エントロピー境界を認め, モーダルアライメントと近位更新の下では, 優先順序への政策段階的な方向を保っていることを示す。 AIME 2025やHumanEvalProなどの数学的推論とコーディングベンチマークの実験では、ACPOはDAPO、GTPO、SAPOといった強力なRLベースラインよりも一貫して改善されている。

関連論文リスト

• STARE: Surprisal-Guided Token-Level Advantage Reweighting for Policy Entropy Stability [78.63876433996107]
  GRPOの下でトークンレベルのエントロピーダイナミクスの1次勾配解析を行う。 本稿では,バッチ内部量子化によるエントロピークリティカルトークンのサブセットを識別するSTAREを提案する。 AIME24とAIME25では、STAREはDAPOや他の競争ベースラインを平均精度で4%-8%上回っている。
  論文  参考訳（メタデータ） (2026-06-17T16:13:42Z)
• One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。 本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。 実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
  論文  参考訳（メタデータ） (2026-05-21T08:25:27Z)
• Entropy Polarity in Reinforcement Fine-Tuning: Direction, Asymmetry, and Control [77.8471519867791]
  実験的に、エントロピー極性はエントロピーの変化を確実に予測することを示した。 本稿では、両極性分岐を保護し、有利な再重み付けによるエントロピー制御を実装するPAPO(Polarity-Aware Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-05-12T08:47:05Z)
• Policy Improvement Reinforcement Learning [40.05196753615896]
  Reinforcement Learning with Verifiable Rewards (RLVR) は、大規模言語モデルの推論能力を改善するためのトレーニング後の中心的なパラダイムとなっている。 既存のメソッドは共通の盲点を共有している: 結果の更新によってモデルが実際に改善されたかどうかを検証することなく、即時のグループレベルまたはバッチレベルの統計に基づいてポリシーを最適化する。 我々は、政策改善のフィードバックが欠落していること、すなわち、中間段階の進捗を直接測定し、最適化する能力が欠けていることを論じる。
  論文  参考訳（メタデータ） (2026-04-01T13:10:20Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
  適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
  論文  参考訳（メタデータ） (2025-10-21T12:55:04Z)
• CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning [28.02073546326571]
  政策エントロピーは、訓練中の探検と搾取のバランスを反映している。 既存の方法は、クリッピング機構により、低確率トークンから貴重な勾配信号を捨てる。 textbfGradient textbfPreserving textbfPolicy textbfOptimization を用いて textbfCoordinating textbfEntropy を提案する。
  論文  参考訳（メタデータ） (2025-09-25T03:22:04Z)
• GTPO: Trajectory-Based Policy Optimization in Large Language Models [42.60363805227946]
  政策に基づく最適化は、今日の言語モデルのトレーニングとアライメントに広く採用されている。 本稿では,GRPOの2つの大きな限界を明らかにし,解析する。 コンフリクトトークンを識別するGTPOを導入する。
  論文  参考訳（メタデータ） (2025-08-05T08:15:01Z)
• AlphaDPO: Adaptive Reward Margin for Direct Preference Optimization [45.46582930202524]
  $alpha$-DPOは、大規模言語モデルの適応的優先最適化アルゴリズムである。 ポリシーモデルと参照モデルのバランスを取り、パーソナライズされた報酬マージンを達成する。 さまざまなモデル設定でDPOとSimPOを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-10-14T04:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。