論文の概要: StepWiser: Stepwise Generative Judges for Wiser Reasoning

• arxiv url: http://arxiv.org/abs/2508.19229v2
• Date: Wed, 27 Aug 2025 17:17:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 12:43:57.520888
• Title: StepWiser: Stepwise Generative Judges for Wiser Reasoning
• Title（参考訳）: StepWiser: Wiser推論のためのステップワイズ生成ジャッジ
• Authors: Wei Xiong, Wenting Zhao, Weizhe Yuan, Olga Golovneva, Tong Zhang, Jason Weston, Sainbayar Sukhbaatar,
• Abstract要約: プロセス報酬モデルは、ステップバイステップのフィードバックを提供することによって、この問題に対処する。 近年の進歩に触発されて、分類タスクから推論タスク自体への段階的な報酬モデリングを再構築しました。 既存の手法よりも中間段階の精度が向上し, (ii) 訓練時の政策モデルの改善に利用でき, (iii) 推論時探索の改善が図られている。
• 参考スコア（独自算出の注目度）: 52.32416311990343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As models increasingly leverage multi-step reasoning strategies to solve complex problems, supervising the logical validity of these intermediate steps has become a critical research challenge. Process reward models address this by providing step-by-step feedback, but current approaches have two major drawbacks: they typically function as classifiers without providing explanations, and their reliance on supervised fine-tuning with static datasets limits generalization. Inspired by recent advances, we reframe stepwise reward modeling from a classification task to a reasoning task itself. We thus propose a generative judge that reasons about the policy model's reasoning steps (i.e., meta-reasons), outputting thinking tokens before delivering a final verdict. Our model, StepWiser, is trained by reinforcement learning using relative outcomes of rollouts. We show it provides (i) better judgment accuracy on intermediate steps than existing methods; (ii) can be used to improve the policy model at training time; and (iii) improves inference-time search.
• Abstract（参考訳）: モデルが複雑な問題を解決するために多段階推論戦略をますます活用するにつれて、これらの中間段階の論理的妥当性の監視は重要な研究課題となっている。 プロセス報酬モデルは、ステップバイステップのフィードバックを提供することでこの問題に対処するが、現在のアプローチには2つの大きな欠点がある。 近年の進歩に触発されて、分類タスクから推論タスク自体への段階的な報酬モデリングを再構築しました。 そこで我々は,政策モデルの推論ステップ(メタ推論)を理由として,最終的な判断を下す前に思考トークンを出力する生成的判断を提案する。 当社のモデルであるStepWiserは、ロールアウトの相対的な結果を用いて強化学習によって訓練されている。 提供します 一 既存の方法より中間段階の判定精度が良いこと。 (二)訓練時の政策モデルを改善するために使用することができる。 (iii)推論時間探索を改善する。

関連論文リスト

• LARES: Latent Reasoning for Sequential Recommendation [96.26996622771593]
  本稿では、シークエンシャルレコメンデーションのための新しいスケーラブルなLatent ReasoningフレームワークであるLARESを紹介する。 提案手法では,パラメータの複雑性を増大させることなく推理深度を柔軟に拡張できる再帰的アーキテクチャを用いている。 我々のフレームワークは既存の高度なモデルとのシームレスな互換性を示し、推奨性能をさらに向上させる。
  論文  参考訳（メタデータ） (2025-05-22T16:22:54Z)
• Slow Thinking for Sequential Recommendation [88.46598279655575]
  本稿では,STREAM-Recという新しいスローシンキングレコメンデーションモデルを提案する。 弊社のアプローチは、過去のユーザの振る舞いを分析し、多段階の熟考的推論プロセスを生成し、パーソナライズされたレコメンデーションを提供する。 具体的には,(1)レコメンデーションシステムにおける適切な推論パターンを特定すること,(2)従来のレコメンデーションシステムの推論能力を効果的に刺激する方法を検討すること,の2つの課題に焦点を当てる。
  論文  参考訳（メタデータ） (2025-04-13T15:53:30Z)
• R1-VL: Learning to Reason with Multimodal Large Language Models via Step-wise Group Relative Policy Optimization [86.32257216965229]
  そこで本稿では,MLLMの自己改善を支援するオンライン強化学習フレームワークを提案する。 StepGRPOは、Step-wise Reasoning Accuracy Reward (StepRAR)とStep-wise Reasoning Validity Reward (StepRVR)の2つの新しいルールベースの推論報酬を導入した。 提案するStepGRPOでは,ステップバイステップ推論に優れた機能を持つMLLMのシリーズであるR1-VLを紹介する。
  論文  参考訳（メタデータ） (2025-03-17T08:51:44Z)
• AdaptiveStep: Automatically Dividing Reasoning Step through Model Confidence [29.551802573731305]
  本稿では,モデルが次の単語を予測する自信に基づいて推論ステップを分割する手法であるAdaptiveStepを提案する。 数理推論およびコード生成タスクにおいて,AdaptiveStep-trained PRMを用いた実験により実効性を示す。
  論文  参考訳（メタデータ） (2025-02-19T18:35:55Z)
• A Tutorial on LLM Reasoning: Relevant Methods behind ChatGPT o1 [6.527607790666018]
  OpenAI o1は、推論中に推論ステップを直接統合するために強化学習を適用することで、モデルの推論能力が大幅に向上することを示した。 本稿では、推論問題を包括的に定式化し、モデルベースとモデルフリーの両方のアプローチを用いて、この緩やかな思考フレームワークをより良くサポートする。
  論文  参考訳（メタデータ） (2025-02-15T17:52:11Z)
• Coarse-to-Fine Process Reward Modeling for Mathematical Reasoning [20.686094849756937]
  プロセス・リワード・モデル (Process Reward Model, PRM) は数学的推論において重要な役割を担い、高品質なプロセスデータを必要とする。 我々は,Large Language Models (LLM) が生成する推論ステップが,厳密なインクリメンタルな情報表示に失敗することが多く,冗長性が生じることを観察する。 本稿では,冗長なステップを検出するための簡易かつ効果的な粗大な戦略CFPRMを提案する。
  論文  参考訳（メタデータ） (2025-01-23T12:44:45Z)
• Step-KTO: Optimizing Mathematical Reasoning through Stepwise Binary Feedback [94.25162866972077]
  Step-KTOは、プロセスレベルと結果レベルのバイナリフィードバックを組み合わせたトレーニングフレームワークである。 実験の結果,Step-KTOは最終回答の精度と中間推論の質の両方を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-01-18T15:38:03Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。