論文の概要: Process Supervision for Chain-of-Thought Reasoning via Monte Carlo Net Information Gain

• arxiv url: http://arxiv.org/abs/2603.17815v1
• Date: Wed, 18 Mar 2026 15:08:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.773587
• Title: Process Supervision for Chain-of-Thought Reasoning via Monte Carlo Net Information Gain
• Title（参考訳）: モンテカルロネット情報ゲインによるチェーン・オブ・ソート推論のプロセススーパービジョン
• Abstract要約: マルチステップ推論は、大規模言語モデル(LLM)の機能を改善するが、中間ステップで伝播するエラーのリスクを増大させる。 プロセス報酬モデル(PRM)は、各ステップを個別にスコアすることでこれを緩和し、きめ細かい監督と信頼性の向上を可能にします。 本稿では,情報理論を用いた段階ラベルの自動生成手法を提案する。
• 参考スコア（独自算出の注目度）: 23.290482237410398
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-step reasoning improves the capabilities of large language models (LLMs) but increases the risk of errors propagating through intermediate steps. Process reward models (PRMs) mitigate this by scoring each step individually, enabling fine-grained supervision and improved reliability. Existing methods for training PRMs rely on costly human annotations or computationally intensive automatic labeling. We propose a novel approach to automatically generate step-level labels using Information Theory. Our method estimates how each reasoning step affects the likelihood of the correct answer, providing a signal of step quality. Importantly, it reduces computational complexity to $\mathcal{O}(N)$, improving over the previous $\mathcal{O}(N \log N)$ methods. We demonstrate that these labels enable effective chain-of-thought selection in best-of-$K$ evaluation settings across diverse reasoning benchmarks, including mathematics, Python programming, SQL, and scientific question answering. This work enables scalable and efficient supervision of LLM reasoning, particularly for tasks where error propagation is critical.
• Abstract（参考訳）: マルチステップ推論は、大規模言語モデル(LLM)の機能を改善するが、中間ステップで伝播するエラーのリスクを増大させる。 プロセス報酬モデル(PRM)は、各ステップを個別にスコアすることでこれを緩和し、きめ細かい監督と信頼性の向上を可能にします。 PRMをトレーニングするための既存の方法は、高価な人間のアノテーションや計算集約的な自動ラベリングに依存している。 本稿では,情報理論を用いた段階ラベルの自動生成手法を提案する。 提案手法は,各推論ステップが正解の確率にどのように影響するかを推定し,ステップ品質の信号を与える。 重要なことに、計算複雑性を$\mathcal{O}(N)$に減らし、以前の$\mathcal{O}(N \log N)$メソッドよりも改善する。 これらのラベルは、数学、Pythonプログラミング、SQL、科学的な質問応答を含む様々な推論ベンチマークにおいて、ベスト・オブ・K$評価設定において効果的な連鎖選択を可能にすることを実証する。 この作業は、特にエラーの伝播が重要となるタスクに対して、LLM推論のスケーラブルで効率的な監視を可能にする。

関連論文リスト

• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Efficient Process Reward Modeling via Contrastive Mutual Information [8.346479730119436]
  本稿では,新しい自動報酬表示手法として,CPMI(Contrative Pointwise mutual information)を提案する。 CPMIは、推論ステップがステップと正しいターゲット回答の間の相互情報を増加させる程度を定量化する。 CPMIに基づくラベリングは,MC推定と比較してデータセット構築時間を84%削減し,トークン生成を98%短縮することを示した。
  論文  参考訳（メタデータ） (2026-04-12T14:28:35Z)
• Adversarial Training for Process Reward Models [47.92183495904245]
  そこでは、ジェネレータ(G$)が、PRM(R$)を欺くための推論エラーを生成することを学習する。 この相互作用は、R$に対して徐々に強みをもたらし、手動のステップレベルラベルを必要とせずに、その堅牢性を改善し、新しいエラーを一般化する。
  論文  参考訳（メタデータ） (2025-11-28T05:32:01Z)
• SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling [58.05959902776133]
  私たちはSingle-Passを紹介します。 Reference-Guided Evaluation (SPARE)は、効率的なステップごとのアノテーションを可能にする新しい構造化フレームワークである。 数学的推論(GSM8K, MATH)、マルチホップ質問応答(MuSiQue-Ans)、空間推論(SpaRP)にまたがる4つの多様なデータセットにおけるSPAREの有効性を実証する。 ProcessBenchでは、SPAREがデータ効率のよいアウト・オブ・ディストリビューションの一般化を実証し、トレーニングサンプルの$sim$16%しか使用していない。
  論文  参考訳（メタデータ） (2025-06-18T14:37:59Z)
• Right Is Not Enough: The Pitfalls of Outcome Supervision in Training LLMs for Math Reasoning [35.142294794883455]
  細粒度アノテーションを持つ新しいデータセットであるMathOlympiadEvalを導入し、LLMの回答の正しさとプロセスの正しさの間に大きなギャップがあることを明らかにした。 LLM-as-a-judgeのような既存の自動化手法は、これらの推論の欠陥を確実に検出するのに苦労する。 そこで我々はParaStepVerifierを提案する。ParaStepVerifierは数学的解の厳密なステップバイステップ検証のための新しい手法である。
  論文  参考訳（メタデータ） (2025-06-07T17:54:56Z)
• Process Reward Models That Think [85.06022494911811]
  ステップバイステップ検証 - プロセス報酬モデル(PRM)としても知られる - は、テスト時間スケーリングの鍵となる要素である。 この研究は、検証チェーン・オブ・シント(CoT)を生成することにより、ソリューションのすべてのステップを検証する言語化されたステップワイド報酬モデルとして、データ効率の高いPRMを構築することを目的としている。 我々は差別的PRMよりもプロセスラベルを桁違いに少なめに微調整した長いCoT検証器ThinkPRMを提案する。
  論文  参考訳（メタデータ） (2025-04-23T15:44:54Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Rational Metareasoning for Large Language Models [17.479428400594028]
  大きな言語モデル(LLM)を使用するためのコアテクニックとして,推論への関与を促す声が上がっている。 本研究は,認知科学で用いられるメタレゾニングの計算モデルに基づく新しいアプローチを導入する。 我々は不必要な推論を罰することで計算の価値を組み込む報酬関数を開発する。
  論文  参考訳（メタデータ） (2024-10-07T23:48:52Z)
• Improve Mathematical Reasoning in Language Models by Automated Process Supervision [23.807288360423193]
  我々は,高品質プロセス監視データの効率的な収集のために,textitOmegaPRM という新しい分割型モンテカルロ木探索アルゴリズムを提案する。 プロセスリワードモデル(PRM)をトレーニングするために、150万以上のプロセス監視アノテーションを収集できます。 重み付けされた自己整合性アルゴリズムとともに、この完全に自動化されたプロセスの監督は、LLMの数学推論性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-05T19:25:40Z)
• Training Chain-of-Thought via Latent-Variable Inference [30.21067593018967]
  大規模言語モデル(LLM)は、チェーン・オブ・シンクレットのプロンプトを使って解答ステップを実行するように指示されたときに、より正確かつ解釈可能な問題を解決する。 CoTと教師付きチューニングを組み合わせるには、正しい回答だけでなく、それらの答えにつながる詳細な根拠の監督が必要である。 そこで本研究では,CoTプロンプトを用いて正しい回答を生成することで,電子対数類似度を最大化するための微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-28T17:47:32Z)
• Guiding Language Model Reasoning with Planning Tokens [122.43639723387516]
  大規模言語モデル(LLM)は、最近、複雑な推論タスクを実行する能力に対して、かなりの関心を集めている。 より構造的なチェーン・オブ・シークレット・ステップの創出を促す階層的な生成手法を提案する。 提案手法では、トレーニング可能なパラメータ(0.001%)の無視可能な増加が必要であり、完全な微調整か、よりパラメータ効率の良いスキームで適用することができる。
  論文  参考訳（メタデータ） (2023-10-09T13:29:37Z)
• Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
  我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。 本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。 我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
  論文  参考訳（メタデータ） (2023-05-01T02:37:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。