論文の概要: LLaDA-PRM: A Bidirectional Step-Level Reasoning Evaluator

• arxiv url: http://arxiv.org/abs/2609.22700v1
• Date: Sat, 19 Sep 2026 02:22:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.521658
• Title: LLaDA-PRM: A Bidirectional Step-Level Reasoning Evaluator
• Title（参考訳）: LLaDA-PRM:双方向ステップレベル推論評価器
• Abstract要約: MR-MATH-invalidでは88.8ステップF1、アウト・オブ・ディストリビューションMR-GSM8Kでは83.8ステップF1に達する8B双方向評価器であるPramを導入する。 prmはオンライン設定の不完全な推論トレースを評価する上でも有効である。
• 参考スコア（独自算出の注目度）: 39.353990284573165
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Step-level reasoning evaluators are commonly based on autoregressive language models, whose causal attention restricts each step representation to the problem, previous steps, and the current step. Yet, when the complete solution is available, the validity of an earlier step may become clearer only through its downstream consequences. We validate this hypothesis through a controlled 54-run comparison of causal and bidirectional LLaDA evaluators at 1B--3B scale, changing only the self-attention mask, and find bidirectional attention yields consistent improvements. Building on this finding, we introduce \prm{}, an 8B bidirectional evaluator that reaches 88.8 step-level F1 on MR-MATH-invalid and 83.8 on the out-of-distribution MR-GSM8K original-question subset, outperforming ReasonEval-Llemma-34B by 11.3 and 10.3 F1 points, respectively. \prm{} also remains effective when evaluating incomplete reasoning traces in online settings, outperforming the strongest baselines on both benchmarks by a large margin. We further show that \prm{} provides an effective training-data selection signal, improving Mistral-7B performance on MATH-500.
• Abstract（参考訳）: ステップレベルの推論評価は、一般的に自己回帰言語モデルに基づいており、因果的注意は各ステップ表現を問題、前のステップ、現在のステップに制限する。 しかし、完全なソリューションが利用可能になると、初期のステップの有効性は、ダウンストリームの結果によってのみ明確になる可能性がある。 1B--3Bスケールでの因果性および双方向性LLaDA評価器の54ラン比較により,この仮説を検証し,自己注意マスクのみを変更し,双方向注意が一貫した改善をもたらすことを確認した。 この発見に基づいて,MR-MATH-invalid上の88.8ステップF1,MR-GSM8Kオリジナルクエストサブセット上の83.8ステップF1に到達し,ReasonEval-Llemma-34Bの11.3ポイント,10.3ポイントをそれぞれ上回る8B双方向評価器である \prm{} を導入する。 オンライン設定における不完全な推論トレースを評価する場合も有効であり、両方のベンチマークで最強のベースラインを大きなマージンで上回っている。 さらに, MATH-500上でのMistral-7Bの性能向上を図り, 効果的なトレーニングデータ選択信号を提供する。

関連論文リスト

• Evaluating Fine-Tuning and Metrics for Neural Decompilation of Dart AOT Binaries [0.0]
  神経脱コンパイルにおける微調整の有効性と妥当性に関する系統的研究を行った。 CodeBLEU, compile@k, pass@k の3つの指標を用いて, 3つの基本アーキテクチャにまたがる細かなモデル変異を評価した。 Swiftトレーニングからのクロスリンガル干渉は、4B(-2.66 pp, p)で非常に重要である(ただし8Bでゼロと統計的に区別できないが、スケーリング仮説と一致している)。
  論文  参考訳（メタデータ） (2026-07-07T10:36:12Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation [3.23600523782706]
  CRYSTAL (Clear Reasoning via Yielded Steps, Traceability, and Logic)は6,372インスタンスの診断ベンチマークである。 本稿では,意味的類似性マッチングによるステップレベルの精度とリコールをスコアするMatch F1と,乱れた推論連鎖をペナルティ化するOrdered Match F1の2つの相補的指標を提案する。 CPR-CurriculumはGRPOによるMatch F1の32%の改善を実現している。
  論文  参考訳（メタデータ） (2026-03-13T15:48:15Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• Critique-GRPO: Advancing LLM Reasoning with Natural Language and Numerical Feedback [59.078756231841574]
  Critique-GRPOは、自然言語と数値フィードバックを統合して効果的なポリシー最適化を行うオンラインRLフレームワークである。 批判-GRPOは、教師付き学習とRLに基づく微調整法を8つの難解な数学、STEM、一般的な推論タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-06-03T17:39:02Z)
• R-PRM: Reasoning-Driven Process Reward Modeling [53.06844294668382]
  プロセス・リワード・モデル(Process Reward Models, PRM)は、各推論ステップを評価することによって、有望なソリューションとして登場した。 既存のPRMは評価スコアを直接出力し、学習効率と評価精度の両方を制限する。 推論駆動プロセスリワードモデリング(R-PRM)を提案する。 R-PRMは限られたアノテーションからシードデータを生成し、効果的にモデルの推論能力をブートストラップします。
  論文  参考訳（メタデータ） (2025-03-27T09:23:08Z)
• Better Process Supervision with Bi-directional Rewarding Signals [41.929678717412266]
  本稿では,過去の手順の正しさを評価するプロセス監視モデルであるBiRMを紹介し,今後の成功の可能性をモデル化する。 数学的推論のタスクについて広範な実験を行い、BiRMがLLM推論のステップをより正確に評価できることを実証した。 検索ベースの戦略では、より包括的なガイダンスを提供し、それぞれMATH-500でORMを5.0%、PRMを3.8%上回る。
  論文  参考訳（メタデータ） (2025-03-06T17:03:17Z)
• Towards Intrinsic Self-Correction Enhancement in Monte Carlo Tree Search Boosted Reasoning via Iterative Preference Learning [2.1637240640145343]
  我々は、ステップワイズ選好学習を活用し、強化学習による自己検証を強化する。 算術的推論タスクの評価において,本手法は MaTH 上で OpenMath2-Llama3.1-8B,dart-math-mistral-7b-uniform より優れている。
  論文  参考訳（メタデータ） (2024-12-23T08:51:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。