論文の概要: Towards Hierarchical Multi-Step Reward Models for Enhanced Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2503.13551v3
• Date: Tue, 06 May 2025 11:38:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 16:47:35.718522
• Title: Towards Hierarchical Multi-Step Reward Models for Enhanced Reasoning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける強化推論のための階層的マルチステップ・リワードモデルに向けて
• Authors: Teng Wang, Zhangyi Jiang, Zhenqi He, Shenyang Tong, Wenhan Yang, Yanan Zheng, Zeyu Li, Zifan He, Hailei Gong,
• Abstract要約: 階層的リワードモデルと呼ばれる新しい報酬モデル手法を提案する。 個々の推論ステップと連続推論ステップを、きめ細かいレベルと粗いレベルの両方で評価する。 これは多段階推論コヒーレンスの評価に優れており、特に欠陥のあるステップが後に自己回帰によって修正される場合である。
• 参考スコア（独自算出の注目度）: 33.547353090281284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies show that Large Language Models (LLMs) achieve strong reasoning capabilities through supervised fine-tuning or reinforcement learning. However, a key approach, the Process Reward Model (PRM), suffers from reward hacking, making it unreliable in identifying the best intermediate step. In addition, the cost of annotating reasoning processes for reward modeling is high, making large-scale collection of high-quality data challenging. To address this, we propose a novel reward model approach called the Hierarchical Reward Model (HRM), which evaluates both individual and consecutive reasoning steps at both fine-grained and coarse-grained levels. HRM excels at assessing multi-step reasoning coherence, especially when flawed steps are later corrected through self-reflection. To further reduce the cost of generating training data, we introduce a lightweight and effective data augmentation strategy called Hierarchical Node Compression (HNC), which merges two consecutive reasoning steps into one within the tree structure. By applying HNC to MCTS-generated reasoning trajectories, we enhance the diversity and robustness of HRM training data while introducing controlled noise with minimal computational overhead. Empirical results on the PRM800K dataset show that HRM, together with HNC, provides more stable and reliable evaluations than PRM. Furthermore, cross-domain evaluations on the MATH500 and GSM8K datasets demonstrate HRM's strong generalization and robustness across a variety of reasoning tasks.
• Abstract（参考訳）: 近年の研究では,Large Language Models (LLMs) が,教師付き微調整や強化学習によって強力な推論能力を発揮することが示されている。 しかし、重要なアプローチであるProcess Reward Model(PRM)は、報酬のハッキングに悩まされており、最良の中間ステップを特定することは不可能である。 さらに、報酬モデリングのための注釈付けプロセスのコストが高く、高品質なデータの大規模な収集が困難になる。 これを解決するために,階層的リワードモデル (HRM) と呼ばれる新たな報酬モデル手法を提案する。 HRMは、特に欠陥のあるステップが後に自己回帰によって修正された場合、多段階推論コヒーレンスを評価するのに優れている。 トレーニングデータの生成コストをさらに削減するため,階層型ノード圧縮(HNC)と呼ばれる軽量で効果的なデータ拡張戦略を導入し,2つの推論ステップを木構造内の1つにマージする。 MCTS による推論軌道に HNC を適用することにより,HRM トレーニングデータの多様性とロバスト性を高めるとともに,最小計算オーバーヘッドの制御ノイズを導入する。 PRM800Kデータセットの実証結果によると、HRMはHNCとともに、PRMよりも安定的で信頼性の高い評価を提供する。 さらに、MATH500とGSM8Kデータセットのクロスドメイン評価は、様々な推論タスクにおけるHRMの強い一般化と堅牢性を示している。

関連論文リスト

• Inference-Time Scaling for Generalist Reward Modeling [25.62000059973935]
  強化学習(RL)は大規模言語モデル(LLM)のポストトレーニングにおいて広く採用されている。 RLの主な課題は、検証可能な質問や人工ルールを超えて、様々な領域のLLMに対して正確な報酬信号を得ることである。 本研究では,一般問合せに対する推論計算により,報酬モデルを改善する方法について検討する。
  論文  参考訳（メタデータ） (2025-04-03T11:19:49Z)
• R-PRM: Reasoning-Driven Process Reward Modeling [53.06844294668382]
  プロセス・リワード・モデル(Process Reward Models, PRM)は、各推論ステップを評価することによって、有望なソリューションとして登場した。 既存のPRMは評価スコアを直接出力し、学習効率と評価精度の両方を制限する。 推論駆動プロセスリワードモデリング(R-PRM)を提案する。 R-PRMは限られたアノテーションからシードデータを生成し、効果的にモデルの推論能力をブートストラップします。
  論文  参考訳（メタデータ） (2025-03-27T09:23:08Z)
• Reward Models Identify Consistency, Not Causality [54.987590763737145]
  最先端の報酬モデルでは、因果正しさよりも構造的な一貫性が優先される。 問題文の削除は報酬のスコアに最小限の影響を与える。 数値を変更するか、推論フローを乱すかは、RM出力に大きく影響する。
  論文  参考訳（メタデータ） (2025-02-20T14:57:14Z)
• Retrieval-Augmented Process Reward Model for Generalizable Mathematical Reasoning [32.850036320802474]
  本稿では,OOD問題に対処するための新しいフレームワークであるRetrieval-Augmented Process Reward Model(RetrievalPRM)を紹介する。 RetrievalPRMは2段階の検索強化機構を利用して、セマンティックに類似した質問やステップをウォームアップとして検索する。 我々の実験では、RetrievalPRMは複数の実世界のデータセットで既存のベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-02-20T08:40:09Z)
• ReARTeR: Retrieval-Augmented Reasoning with Trustworthy Process Rewarding [25.329712997545794]
  ReARTeR(Retrieval-Augmented Reasoning)を提案する。 ReARTeRは、ポストトレーニングとテストタイムスケーリングを通じて、RAGシステムの推論能力を向上する。 マルチステップ推論ベンチマークの実験結果から,大幅な改善が示された。
  論文  参考訳（メタデータ） (2025-01-14T05:56:26Z)
• The Lessons of Developing Process Reward Models in Mathematical Reasoning [62.165534879284735]
  Process Reward Models (PRM) は、推論プロセスにおける中間エラーを特定し、緩和することを目的としている。 我々は,モンテカルロ (MC) 推定とLarge Language Models (LLM) を効果的に統合するコンセンサスフィルタリング機構を開発した。 私たちは、既存のオープンソース代替品よりも優れた、最先端のPRMを新たにリリースしています。
  論文  参考訳（メタデータ） (2025-01-13T13:10:16Z)
• Step-level Value Preference Optimization for Mathematical Reasoning [6.318873143509028]
  SVPO(Step-level Value Preference Optimization)と呼ばれる新しいアルゴリズムを導入する。 提案手法は,領域内および領域外両方の数学的推論ベンチマーク上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-06-16T09:06:17Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Prior Constraints-based Reward Model Training for Aligning Large Language Models [58.33118716810208]
  本稿では,この問題を解決するために,事前制約に基づくリワードモデル(PCRM)のトレーニング手法を提案する。 PCRMは、前回の制約、特に各比較ペアの出力間の長さ比とコサイン類似性を、最適化の規模を調節しスコアマージンを制御するための報酬モデルトレーニングに組み入れている。 実験結果から,PCRMは報酬スコアのスケーリングを効果的に抑制することによりアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-01T07:49:11Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。