論文の概要: Why Deterministic PRM Guidance Underperforms in Discrete Diffusion Reasoning

• arxiv url: http://arxiv.org/abs/2609.35472v1
• Date: Mon, 28 Sep 2026 15:54:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 05:05:20.740479
• Title: Why Deterministic PRM Guidance Underperforms in Discrete Diffusion Reasoning
• Title（参考訳）: 離散拡散推論における決定論的PRM誘導性能
• Abstract要約: この結果から,前払いパスと同じ予算で denoising, PRM score, outcome reward model (ORM) スコアを突破すると, 決定論的形式ははるかに単純なベースラインに低下することがわかった。 我々のPRMは中間的認知状態を記録し、最終回答の正しさを訓練する。
• 参考スコア（独自算出の注目度）: 0.2676349883103404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion language models (dLLMs) expose a denoised solution at every step, which makes process reward model (PRM) guidance look like a way to spend compute at test time. We show that once denoising, PRM scoring, and outcome reward model (ORM) scoring are charged in the same budget of forward passes, its deterministic form loses to a much simpler baseline. Our PRMs score intermediate denoising states and are trained on the correctness of the final answer. On Dream-v0-Instruct-7B with 8 candidates per GSM8K problem, keeping the candidate with the highest PRM score at every scoring step reaches 65.18%, while independent sampling plus an ORM reranker trained for the task reaches 75.13%. The gap grows to 12.69 percentage points (pp) with 32 candidates, and is 9.85 pp on MATH and 12.16 pp on MBPP. We trace it to two separable failures. First, guidance prunes on a weak signal: on GSM8K, PRM ROC-AUC falls from 0.77 to 0.54 as the mask ratio rises, a decay that persists when states are relabeled with fresh rollouts, and pruning lowers the best accuracy reachable from the candidate pool from 81.05% for independent samples to 67.30%. Second, on GSM8K and MATH, the PRM is a poor final judge: a sequential Monte Carlo sampler at the same budget restores that ceiling to 77.89%, yet selecting with the PRM gives 65.48%, on par with deterministic guidance, while a PRM retrained on final states matches the ORM on identical candidates. MBPP separates the two: there the PRM reaches 65.47% when reranking finished programs, on par with the ORM, but 50.88% when it guides denoising. The results point to two targets for dLLM guidance: keep correct partial solutions alive through early denoising, and leave the final choice to a verifier trained on final states. We release the corpus of denoising states with outcome labels and evaluation toolkit for reproducible comparisons at matched compute.
• Abstract（参考訳）: 離散拡散言語モデル(dLLMs)は、各ステップで識別されたソリューションを公開するため、プロセス報酬モデル(PRM)ガイダンスは、テスト時に計算に費やす方法のように見える。 この結果から,前払いパスと同じ予算で denoising, PRM score, outcome reward model (ORM) スコアを突破すると, 決定論的形式ははるかに単純なベースラインに低下することがわかった。 我々のPRMは中間的認知状態を記録し、最終回答の正しさを訓練する。 ドリーム-v0-インストラクト-7Bでは、GSM8Kあたり8人の候補者がおり、各得点ステップでPRMスコアが最も高い候補者は65.18%、独立したサンプリングとタスクのために訓練されたORMリランカーは75.13%である。 このギャップは32人の候補者で12.69ポイント (pp) まで増加し、MATHでは9.85pp、MBPPでは12.16ppである。 私たちはそれを2つの分離可能な失敗に辿った。 第一に、GSM8Kでは、マスク比が上昇するにつれて PRM ROC-AUC は 0.77 から 0.54 に低下し、新しいロールアウトで状態が緩和されたときに持続し、プルーニングは候補プールから到達可能な最良の精度を 81.05% から 67.30% に低下させる。 第2に、GSM8K と MATH では、PRM は粗末な最終判断である: 同じ予算で連続的なモンテカルロサンプリングが天井を77.89%まで修復するが、PRM での選択は決定論的ガイダンスと同等に65.48%を与え、最終状態で再訓練された PRM はORM と同一候補で一致する。 MBPPは2つを分けている: PRM は ORM に匹敵する成績を収めると65.47% に達するが、 denoising を導くと 50.88% に達する。 結果は、dLLMガイダンスの2つの目標を指し示している: 正しい部分解を早期に認知し、最終状態で訓練された検証者に任せる。 提案手法は,結果ラベルと再現性比較のための評価ツールキットを併用した正規化状態のコーパスを,一致した計算でリリースする。

関連論文リスト

• How Reproducible Are Evaluation Conclusions? A Self-Audit of LLM-Inferred Prompt Structure [0.0]
  LLMシステムの評価は、小さなプロンプトセットよりも平均的に行われ、ランキングテーブルとして報告される。 ケーススタディとして,LSMに基づくプロンプト構造推論を用いて,そのようなテーブルがどの程度の自信を持つべきかを問う。 Identical コールは、平均ノードセット Jaccard が 0.39 から 0.96 に、プロンプトモデルセルの 72% がノードセット完全ではないため、同じ構造を確実に回復しない。 我々は、ランク安定性、セルごとの証明、実行された感度比較、生のラン毎の出力、およびどのランキングと並んで測定日を報告することを推奨する。
  論文  参考訳（メタデータ） (2026-09-24T16:28:15Z)
• Target-Checked Reliability Score Refinement for Video Question Answering [3.8271803328378677]
  モデルの再トレーニングや回答の変更を伴わずに、目標シフトの下で回答レベルの信頼性スコアを改善できるかどうかを検討する。 3つの固定されたビデオ言語モデルから、4つの決定論的ビデオサンプリングに基づいてオプション確率リストを収集する。 選択した回答に割り当てられた確率として定義される原点スコアと,開発データセットに基づいて学習したヒストグラムに基づく勾配ボスティング(HGB)スコアを比較した。 候補は、ビデオレベルの繰り返しチェックがポジティブで安定した改善を示す場合にのみ、元のスコアを置き換える。
  論文  参考訳（メタデータ） (2026-09-09T08:29:00Z)
• SAKI: Score-Aware Low-Rank Key Indexing with Random-Matrix Noise Correction for KV Retrieval [4.894648561808929]
  キー再構成の品質よりも注意点を保存できる学習自由なKVキャッシュインデックスを開発した。 ランク32では、PCAの残るトップ64リコールエラーの13～30%を除去する。 1モデルあたりの注目度は68～99%向上し、より深い層で最大の増加率となる。
  論文  参考訳（メタデータ） (2026-08-04T06:59:29Z)
• Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
  Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。 本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
  論文  参考訳（メタデータ） (2026-06-01T04:43:36Z)
• ESPO: Early-Stopping Proximal Policy Optimization [78.79610718910628]
  ESPO(Early-Stopping Proximal Policy Optimization)は、軌道上の障害を検出し、ロールアウトを早期に終了する。 DeepSeek-R1-Distill-Qwen-7Bでは、ESPOはAIME2024(46.28%対45.25%)、AMC2023(85.83%対82.94%)、MATH-500(87.42%対85.43%)でPPOを上回っている。
  論文  参考訳（メタデータ） (2026-05-28T12:40:22Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• Process Reward Models That Think [85.06022494911811]
  ステップバイステップ検証 - プロセス報酬モデル(PRM)としても知られる - は、テスト時間スケーリングの鍵となる要素である。 この研究は、検証チェーン・オブ・シント(CoT)を生成することにより、ソリューションのすべてのステップを検証する言語化されたステップワイド報酬モデルとして、データ効率の高いPRMを構築することを目的としている。 我々は差別的PRMよりもプロセスラベルを桁違いに少なめに微調整した長いCoT検証器ThinkPRMを提案する。
  論文  参考訳（メタデータ） (2025-04-23T15:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。