論文の概要: Correlation-Aware Exploration for Long-Trace Reasoning

• arxiv url: http://arxiv.org/abs/2610.34949v1
• Date: Mon, 26 Oct 2026 07:19:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.782684
• Title: Correlation-Aware Exploration for Long-Trace Reasoning
• Title（参考訳）: ロングトレース推論のための相関性を考慮した探索
• Abstract要約: Info-GRPOは、ポリシーと潜伏前の相関を育む情報理論フレームワークである。 GRPOで$Avg@8$を3.75%、1.66%、4.16%、そして4つのバックボーンで4.17%改善し、サンプルを減らし、同じ多数決の精度に達した。
• 参考スコア（独自算出の注目度）: 29.38936839609981
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning models trained with Group Relative Policy Optimization (GRPO) now produce chains of thought thousands of tokens long, and recent studies reveal that such training is prone to policy collapse. Entropy regularization is the standard remedy, but it works by pushing probability mass away from the few tokens that carry it and toward the vast low-probability tail of the vocabulary, and it applies this force once for every token of the reasoning trace. This puts the bonus in direct conflict with the entropy decay that convergence requires, and makes its coefficient difficult to set in the long-trace regime. To resolve this tension, we propose Info-GRPO, an information-theoretic framework that cultivates correlation between the policy and a latent prior. Rather than raising entropy everywhere, Info-GRPO builds on the mutual information between a latent variable and the trajectory it induces: augmenting prompts with latent seeds during training lets the model explore diverse policies correlated with the prior, while the seed-conditioned entropy is guided toward convergence. Diversity is therefore carried across whole reasoning traces rather than by per-token randomness, and exploration no longer fights entropy reduction. Experiments show that Info-GRPO outperforms vanilla GRPO and entropy-regularized GRPO across diverse reasoning benchmarks. On AIME24, it improves $Avg@8$ over GRPO by 3.75%, 1.66%, 4.16%, and 4.17% on four backbones, and it reaches the same majority-vote accuracy with $8\times$ fewer samples. Code and models will be publicly released.
• Abstract（参考訳）: グループ相対政策最適化(GRPO)で訓練された推論モデルは、今や数千のトークンのチェーンを長く生成しており、最近の研究では、そのようなトレーニングが政策崩壊の傾向にあることが明らかになっている。 エントロピー正則化(Entropy regularization)は標準的な治療法であるが、確率質量をそれを運ぶいくつかのトークンからボキャブラリの極端に低い確率の尾へ押し上げることで作用し、この力は推論トレースの全てのトークンに対して1度だけ適用される。 これにより、このボーナスは収束が要求するエントロピー崩壊と直接衝突し、その係数を長いトレース状態に設定することが困難になる。 この緊張を解消するために,政策と潜伏者の相関を育む情報理論フレームワークであるInfo-GRPOを提案する。 Info-GRPOは、あらゆる場所でエントロピーを上昇させるのではなく、潜在変数とそれが引き起こす軌跡の間の相互情報に基づいて、トレーニング中に潜在種によるプロンプトを増強することで、モデルが先行と相関する多様なポリシーを探索し、シード条件のエントロピーは収束に向かって導かれる。 したがって、多様性は、トーケン当たりのランダム性よりも、すべての推論トレースで運ばれ、探索はもはやエントロピーの減少と戦わない。 実験により、Info-GRPOは様々な推論ベンチマークでバニラGRPOとエントロピー規則化されたGRPOより優れていることが示された。 AIME24では、GRPOよりも$Avg@8$を3.75%、1.66%、4.16%、および4.17%の改善し、サンプルを減らし、同じ多数決の精度に達する。 コードとモデルは公開されます。

関連論文リスト

• ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
  検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。 GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。 限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。 ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
  論文  参考訳（メタデータ） (2026-10-17T07:19:05Z)
• Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis [59.80039032720308]
  非同期強化学習(RL)は、大規模言語モデルの訓練後の効率を改善するが、以前のポリシーによって生成された古いロールアウトを導入する。 勾配推定器の第2モーメントとバイアスのトレードオフを特徴付けるGRPO型アルゴリズムの収束バウンダリを導出する。 重み付き推定器のクラス内における比に基づくバイアスを最小化するグループマスキャッピングGRPO(GMC-GRPO)法を提案する。
  論文  参考訳（メタデータ） (2026-10-01T15:45:08Z)
• Group Entropy-Controlled Policy Optimization [38.44352203898131]
  Group Entropy-Controlled Policy Optimization (GEPO) は、グループエントロピーを用いてエントロピー条件の非対称な有利な整形を行うGRPOの軽量拡張である。 GEPOは低エントロピー群の正の利点を減らし、過剰な露光を減らし、高エントロピー群の負の利点を減らし、探索を維持する。
  論文  参考訳（メタデータ） (2026-07-18T15:13:33Z)
• STARE: Surprisal-Guided Token-Level Advantage Reweighting for Policy Entropy Stability [78.63876433996107]
  GRPOの下でトークンレベルのエントロピーダイナミクスの1次勾配解析を行う。 本稿では,バッチ内部量子化によるエントロピークリティカルトークンのサブセットを識別するSTAREを提案する。 AIME24とAIME25では、STAREはDAPOや他の競争ベースラインを平均精度で4%-8%上回っている。
  論文  参考訳（メタデータ） (2026-06-17T16:13:42Z)
• Dropout-GRPO: Variational Stochasticity for Continuous Latent Reasoning [0.0]
  Coconutのような潜在推論モデルは、個別のチェーンオブソートトークンの代わりに、継続的に隠れた状態をフィードする。 グループ関係強化学習を継続的潜在推論に適用することは困難であることが証明された。 1つのベルヌーイマスクを与えられたロールアウトに対して全ての遅延繰り返しステップで一定に保持することにより、本質的な軌道分散を生成する。
  論文  参考訳（メタデータ） (2026-06-08T21:21:42Z)
• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• Distribution-Centric Policy Optimization Dominates Exploration-Exploitation Trade-off [34.80019950191864]
  我々は、強化学習のためのtextbfdistribution中心の視点を導入する。 本稿では,分布レベルの正規化としてエントロピー規制を再構成する分散中心政策最適化(DCPO)を提案する。 全体として、DCPOはサンプルレベルの原則を分散レベルの原則に置き換え、理論的に基礎とフレキシブルなフレームワークを提供し、EEのトレードオフを強化します。
  論文  参考訳（メタデータ） (2026-01-19T05:20:46Z)
• Repurposing Synthetic Data for Fine-grained Search Agent Supervision [81.95597592711688]
  LLMベースの検索エージェントは、エンティティ中心の合成データに基づいてますます訓練されている。 一般的なトレーニングメソッドは、このリッチなエンティティ情報を破棄し、代わりにスパースで結果に基づく報酬に依存します。 E-GRPO(Entity-Aware Group Relative Policy Optimization)は、高密度なエンティティ認識報酬関数を定式化する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-10-28T17:50:40Z)
• HAEPO: History-Aggregated Exploratory Policy Optimization [4.782714372521615]
  本稿では,ヒストリーアグリゲート探索政策最適化(HAEPO)を紹介する。 HAEPOは各軌道を対数確率の和に圧縮し、軌道にプラケット・リュックソフトマックスを適用する。 実証的には、HAEPOは急速に収束し、徹底的に探索し、真の報酬と密接に一致し、PPO、GRPO、DPOと同等以上の堅牢な学習行動を示す。
  論文  参考訳（メタデータ） (2025-08-26T09:59:44Z)
• The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models [99.98293908799731]
  本稿では,LLMによる推論,すなわち政策エントロピーの崩壊において,RLのスケーリングの大きな障害を克服することを目的としている。 実際には、エントロピーHと下流性能Rの間の変換方程式R=-a*eH+bを確立する。 Clip-Cov と KL-Cov という2つの単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:38:45Z)
• S-GRPO: Early Exit via Reinforcement Learning in Reasoning Models [2.9925837108958864]
  テスト時間スケーリングは、大規模な言語モデルコミュニティに活発な研究対象として現れます。 最近の研究では、推論モデル(Qwen3でさえも過度の思考冗長性を示すことが示されている。 本稿では,新たな強化学習パラダイムであるS-GRPO(Serial-Group Decaying-Reward Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2025-05-12T15:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。