論文の概要: MGE-PO: Entropy-Aware Credit Assignment for Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2610.23245v1
• Date: Fri, 16 Oct 2026 10:15:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.864194
• Title: MGE-PO: Entropy-Aware Credit Assignment for Mathematical Reasoning
• Title（参考訳）: MGE-PO: 数学的推論のためのエントロピー対応クレジットアサインメント
• Abstract要約: MGE-POは、検証された正しさとロールアウト生成エントロピーを組み合わせる。 オンラインエントロピーベースの質問カリキュラムは、キャッシュされたロールアウト測定を使用して、このクレジットルールをサポートする。 Qwen2.5-7Bベースでは、完全な構成は4つのベンチマークマクロavg@32を41.5%から45.4%に引き上げている。
• 参考スコア（独自算出の注目度）: 33.463386950623345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: GRPO assigns the same group-relative advantage to equally rewarded responses within a question, leaving their generation uncertainty unused. We introduce MGE-PO, centered on four-quadrant (4Q) advantage shaping that combines verified correctness with rollout generation entropy. Correctness determines the sign of an additional correction, while entropy controls its magnitude: lower-entropy successes receive larger bonuses and higher-entropy failures receive larger penalties. An online entropy-based question curriculum supports this credit rule using cached rollout measurements. At the final checkpoint after eight training epochs on Qwen3-8B-Base, adding 4Q across three policy optimization settings yields absolute gains of 3.23-3.69% in six-benchmark macro avg@32 and 4.24-11.06% in macro pass@32. On Qwen2.5-7B-Base, the complete configuration raises four-benchmark macro avg@32 from 41.5% to 45.4%.
• Abstract（参考訳）: GRPOは、同じグループ相対的な優位性を、質問内で等しく報酬された応答に割り当て、その生成の不確実性を未使用のまま残している。 検証精度とロールアウト生成エントロピーを併用した4クワラント(4Q)アドバンスト整形を中心にMGE-POを導入する。 低エントロピーの成功はより大きなボーナスを受け、高エントロピーの失敗はより大きな罰を受ける。 オンラインエントロピーベースの質問カリキュラムはキャッシュされたロールアウト測定を使用してこのクレジットルールをサポートする。 Qwen3-8Bベースでの8つのトレーニングエポックの後の最終チェックポイントでは、3つのポリシー最適化設定に4Qを追加し、6つのベンチマークマクロavg@32で3.23-3.69%、マクロパス@32で4.24-11.06%の絶対利得を得た。 Qwen2.5-7Bベースでは、完全な構成は4つのベンチマークマクロavg@32を41.5%から45.4%に引き上げている。

関連論文リスト

• HISPO: Hierarchical Importance-Sampling Policy Optimization with Entropy-Derived Segments [3.6883184884620004]
  検証可能な報酬(RLVR)を用いた強化学習は、言語モデルにおける数学的推論を改善するための中心的なアプローチとなっている。 解トレースの異なる部分が最終的な正しさに不均一に寄与する可能性がある。 ロールアウト時間エントロピー由来の連続セグメントを構成するセグメントレベルのポリシー最適化手法である階層的重要度サンプリングポリシー最適化(HISPO)を導入する。
  論文  参考訳（メタデータ） (2026-09-14T12:29:00Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Reusing Rollouts under Policy Lag: Prefix-Normalized Policy Optimization for LLM Reinforcement Learning [21.43528083212271]
  自己回帰的なロールアウト生成は、強化学習における大きな計算コストである。 PNPOは累積比を、各因果接頭辞に沿った確率比の平均に置き換える。 PNPOは1つのエポックでGSPOを一貫して上回るわけではない。 4エポックのPNPOは150回のロールアウトの後に49.66のAvg@32に到達し、1エポックの600回の後に到達した49.56に匹敵する。
  論文  参考訳（メタデータ） (2026-08-02T18:02:03Z)
• HiFA4: Training-Free 4-bit FlashAttention on Ascend HIF4 NPUs for LLM Inference [7.694200642758333]
  HiFA4 は FlashAttention において 4ビット HIF4 Cube GEMM として QKT と PV の両方を実行する。 Smooth-QK は、RoPE の後、Q と K にキャリブレーション-静的なチャネルごとの等価な再スケーリングを適用する。 P順序付けは、高精度な再構成ではなく、PV GEMMで使用されるのと同じ量子化注目重量P_hatからソフトマックス正規化器を蓄積する。
  論文  参考訳（メタデータ） (2026-07-05T13:39:52Z)
• STARE: Surprisal-Guided Token-Level Advantage Reweighting for Policy Entropy Stability [78.63876433996107]
  GRPOの下でトークンレベルのエントロピーダイナミクスの1次勾配解析を行う。 本稿では,バッチ内部量子化によるエントロピークリティカルトークンのサブセットを識別するSTAREを提案する。 AIME24とAIME25では、STAREはDAPOや他の競争ベースラインを平均精度で4%-8%上回っている。
  論文  参考訳（メタデータ） (2026-06-17T16:13:42Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• TORQ: Two-Level Orthogonal Rotation for MXFP4 Quantization [13.984796236174331]
  トレーニング不要なポストトライニング量子化フレームワークとしてTORQ (Two-level Orthogonal Rotation for MXFP4 Quantization)を提案する。 既存の手法と比較して, TORQはMXFP4の活性化量子化の精度を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2026-05-19T09:05:47Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing [79.88256756334327]
  自己蒸留政策最適化(SDPO)は、より密集したロジットレベルの監視を提供することによってこの問題に対処する。 サンプル制御ポリシー最適化(SRPO)を提案する。 SRPOは、試料をGRPOの報酬整合強化に向け、サンプルをSDPOの目標ロジットレベルの補正に向ける。
  論文  参考訳（メタデータ） (2026-04-02T17:29:18Z)
• Single-stream Policy Optimization [21.214853668053234]
  SPO(Single-stream Policy Optimization)を導入する。 SPOはグループ単位のベースラインを永続的なKL適応値トラッカーに置き換え、バッチ全体にわたってメリットを標準化する。 グループフリーであるため、SPOはより高いスループットと、長い水平またはツール統合された設定で効果的にスケールすることができる。
  論文  参考訳（メタデータ） (2025-09-16T16:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。