論文の概要: ConsensusBench: Benchmark of Consensus Nodes for LLM Reasoning via Outcome Reward Densifying

• arxiv url: http://arxiv.org/abs/2609.04648v1
• Date: Fri, 04 Sep 2026 02:29:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.880242
• Title: ConsensusBench: Benchmark of Consensus Nodes for LLM Reasoning via Outcome Reward Densifying
• Title（参考訳）: ConsensusBench: アウトカムリワードデンシフィケーションによるLLM推論のためのConsensus Nodesベンチマーク
• Abstract要約: 我々はConsensusPRという新しい強化学習信号を開発した。 長い推論軌跡にまたがる結果報酬の幅を、直接的に減少させる。 AIME 2024, AIME 2025, GSM8K, MATH-500および我々のConsensusBenchにおける実験により,提案手法がGRPOスタイルのアプローチを一貫して超越していることが実証された。
• 参考スコア（独自算出の注目度）: 45.2850302643347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) has become one of the primary paradigms for reasoning enhancement of large language models (LLMs). In particular, Group Relative Policy Optimization (GRPO) and related algorithms have demonstrated strong performance with outcome-level rewards. However, these methods depend solely on the final answer, without feedback regarding which intermediate steps contribute to success or failure. As task complexity and reasoning trajectory length increase, such sparse final-answer rewards become increasingly insufficient. To address this limitation, we introduce ConsensusBench, a novel dataset designed to provide rule-based process-level signals. We posit that a correct final answer relies on a small set of intermediate conclusions throughout the reasoning process, which can be seen as a verifiable sub-outcome. We identify these sub-outcomes by filtering correct trajectories from N rollouts and clustering semantically equivalent intermediate statements. We call these clustered statements as Consensus Nodes. By integrating a rule-based process reward derived from these nodes into GRPO-style algorithms, we develop a new reinforcement learning signal named ConsensusPR. It directly reduces the reward sparsity of outcome reward across long reasoning trajectories. To facilitate systematic process-level evaluation, we introduce three metrics to our benchmark: Final Answer Accuracy (Acc), Node Coverage Rate (NCR), and Tokens per Node (TPN). Experiments across AIME 2024, AIME 2025, GSM8K, MATH-500, and our ConsensusBench demonstrate that the proposed method consistently surpasses GRPO-style approaches, highlighting the practical value of consensus nodes in guiding reasoning.
• Abstract（参考訳）: 強化学習(RL)は、大規模言語モデル(LLM)の強化を推理する主要なパラダイムの1つとなっている。 特に,グループ相対政策最適化(GRPO)と関連するアルゴリズムは,結果レベルの報酬で高い性能を示した。 しかし、これらの手法は最終回答にのみ依存しており、どの中間ステップが成功または失敗に寄与するかについてのフィードバックがない。 タスクの複雑さと推論の軌道長が増加するにつれて、そのようなスパースな最終回答報酬はますます不十分になる。 この制限に対処するために、ルールベースのプロセスレベル信号を提供するように設計された新しいデータセットであるConsensusBenchを紹介します。 我々は、正しい最終解は、推論過程を通して小さな中間結論の集合に依存しており、検証可能なサブアウトカムと見なすことができると仮定する。 Nロールアウトから正しい軌跡をフィルタリングし,意味論的に等価な中間文をクラスタリングすることによって,これらのサブアウトカムを同定する。 クラスタ化されたステートメントをConsensus Nodesと呼びます。 これらのノードから得られる規則に基づくプロセス報酬をGRPOスタイルのアルゴリズムに統合することにより、ConsensusPRという新しい強化学習信号を開発する。 長い推論軌跡にまたがる結果報酬の幅を、直接的に減少させる。 組織的なプロセスレベルの評価を容易にするために、ファイナルアンサー精度(Acc)、ノードカバレッジ率(NCR)、ノード毎のトークン(TPN)という3つの指標をベンチマークに導入しました。 AIME 2024, AIME 2025, GSM8K, MATH-500, そして我々のConsensusBenchによる実験では,提案手法がGRPOスタイルのアプローチを一貫して超越していることが示され, 推論におけるコンセンサスノードの実用的価値が強調された。

関連論文リスト

• N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization [55.14402862283128]
  我々は,グループ相対政策最適化フレームワークに統合された新しい探索戦略であるN-GRPOを紹介する。 トークンレベルのサンプリングやネイティブな埋め込みレベルのノイズに頼るのではなく、Semantic Neighbor Mixingを活用する。 N-GRPOは、数学推論ベンチマークの強いベースラインよりも一貫した改善を達成し、また分布外タスクの堅牢な一般化能力を示す。
  論文  参考訳（メタデータ） (2026-06-09T12:21:27Z)
• From Failure to Feedback: Group Revision Unlocks Hard Cases in Object-Level Grounding [35.008790179255136]
  本稿では,ハードケースにおける学習を促進するグループ・リビジョン最適化パラダイムを提案する。 報酬形成にインスパイアされ,初期試行よりも各候補者の改善を定量化する統合プロセスを導入する。 提案手法は,従来のGRPOモデルと比較して,参照と推論のセグメンテーション,REC,およびカウントのベンチマークで一貫したゲインを実現する。
  論文  参考訳（メタデータ） (2026-05-15T13:41:41Z)
• Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models [50.84995206660551]
  本研究では,条件付きアドバンテージ・エスティマティオン(CANON)を導入し,その方向を推定せずに目標距離の影響を増幅する。 エントロピーに基づくCANONは、数学推論と高複雑性論理タスクの両方において、従来手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2025-09-28T16:33:07Z)
• Accelerating LLM Reasoning via Early Rejection with Partial Reward Modeling [12.835376812101323]
  PRMも部分的リワードモデルであるという仮説を導入する。 これにより、中間トークンレベル信号に基づく原理的な早期拒絶が可能となる。 算数推論のベンチマークでは、最終的な性能を劣化させることなく、最大1.4$times$-9$times$の推論FLOPを削減できる。
  論文  参考訳（メタデータ） (2025-08-04T00:58:56Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• TreeRPO: Tree Relative Policy Optimization [65.51935468270916]
  nameは、ツリーサンプリングを用いて、様々な推論ステップで報酬の数学的期待を推定する新しい方法である。 GRPOの集団相対的な報酬訓練機構に基づいて、木サンプリング時に生成されたステップレベルグループに基づいて報酬を革新的に計算する。
  論文  参考訳（メタデータ） (2025-06-05T15:56:38Z)
• Response-Level Rewards Are All You Need for Online Reinforcement Learning in LLMs: A Mathematical Perspective [6.069069082518759]
  大規模言語モデル(LLM)の強化学習におけるゼロ・リワード推定について検討する。 反応レベル報酬モデルのみを用いて、真で未知のトークンレベルの報酬に基づくポリシー勾配を不偏に推定できることを示す。 我々は,新しいアルゴリズム,Token-Reinforced Policy Optimization (TRePO)を提案する。
  論文  参考訳（メタデータ） (2025-06-03T07:44:31Z)
• Reinforced Latent Reasoning for LLM-based Recommendation [92.56166822197919]
  大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。 既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。 本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
  論文  参考訳（メタデータ） (2025-05-25T11:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。