論文の概要: Coarse-to-Fine Process Reward Modeling for Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2501.13622v2
• Date: Sun, 16 Feb 2025 13:23:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:04:50.429184
• Title: Coarse-to-Fine Process Reward Modeling for Mathematical Reasoning
• Title（参考訳）: 数理推論のための粗大なプロセスリワードモデリング
• Authors: Yulan Hu, Sheng Ouyang, Yong Liu,
• Abstract要約: 大規模言語モデル(LLM)は、厳密なインクリメンタルな情報を示すのに失敗することが多い。 そこで本研究では,単純かつ効果的な粗大な戦略であるモデルを提案する。 モデルは、重要なきめ細かい知識を保持しながら冗長性を緩和する。
• 参考スコア（独自算出の注目度）: 9.762206595024
• License:
• Abstract: The Process Reward Model (PRM) plays a crucial role in mathematical reasoning tasks, requiring high-quality supervised process data. However, we observe that reasoning steps generated by Large Language Models (LLMs) often fail to exhibit strictly incremental information, leading to redundancy that can hinder effective reasoning. To address this issue, we propose \model, a simple yet effective coarse-to-fine strategy. Instead of focusing on the detection of redundant steps, our approach first establishes a coarse-grained window to merge adjacent reasoning steps into unified, holistic steps. The window size is then progressively reduced to extract fine-grained reasoning steps, enabling data collection at multiple granularities for training. By leveraging this hierarchical refinement process, \model mitigates redundancy while preserving essential fine-grained knowledge. Extensive experiments on two reasoning datasets across three loss criteria validate the \model's effectiveness and versatility.
• Abstract（参考訳）: プロセス・リワード・モデル (Process Reward Model, PRM) は数学的推論において重要な役割を担い、高品質なプロセスデータを必要とする。 しかし,Large Language Models (LLMs) が生成する推論ステップは,厳密なインクリメンタルな情報表示に失敗することが多く,効果的な推論を阻害する原因となる。 この問題に対処するために、簡単なが効果的な粗大な戦略である \model を提案する。 冗長なステップの検出に焦点をあてる代わりに、我々のアプローチはまず、隣接する推論ステップを統一的で全体的なステップにマージする粗い粒度の窓を確立する。 次に、ウィンドウサイズを徐々に小さくし、微粒な推論ステップを抽出し、トレーニングのために複数の粒度のデータ収集を可能にする。 この階層的な洗練プロセスを活用することで、モデルが重要なきめ細かな知識を保持しながら冗長性を緩和する。 3つの損失基準にまたがる2つの推論データセットに関する大規模な実験は、モデルの有効性と汎用性を検証する。

関連論文リスト

• Step-by-Step Reasoning for Math Problems via Twisted Sequential Monte Carlo [55.452453947359736]
  Twisted Sequential Monte Carlo(TSMC)に基づく新しい検証手法を提案する。 TSMCを大規模言語モデルに適用し、部分解に対する将来的な報酬を推定する。 このアプローチは、ステップワイドなヒューマンアノテーションを必要としない、より直接的なトレーニングターゲットをもたらす。
  論文  参考訳（メタデータ） (2024-10-02T18:17:54Z)
• Can We Further Elicit Reasoning in LLMs? Critic-Guided Planning with Retrieval-Augmentation for Solving Challenging Tasks [68.49251303172674]
  最先端の大規模言語モデル(LLM)は、目覚ましい問題解決能力を示すが、複雑な推論と事実の正しさに苦慮する可能性がある。 既存の手法では、チェーン・オブ・ソートと検索強化生成(RAG)の強みを利用して、複雑な問題をより単純なステップに分解し、検索を適用して事実の正しさを向上させる。 CR-Planner(CR-Planner, CR-Planner, CR-Planner)は, 微調整された批判モデルを利用して, 推論と検索の両方のプロセスを計画を通してガイドする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-02T11:26:02Z)
• Improve Mathematical Reasoning in Language Models by Automated Process Supervision [23.807288360423193]
  我々は,高品質プロセス監視データの効率的な収集のために,textitOmegaPRM という新しい分割型モンテカルロ木探索アルゴリズムを提案する。 プロセスリワードモデル(PRM)をトレーニングするために、150万以上のプロセス監視アノテーションを収集できます。 重み付けされた自己整合性アルゴリズムとともに、この完全に自動化されたプロセスの監督は、LLMの数学推論性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-05T19:25:40Z)
• Keypoint-based Progressive Chain-of-Thought Distillation for LLMs [46.53906673648466]
  思考の連鎖蒸留は、推論能力を大きな言語モデルからより小さな学生モデルに伝達する強力な技術である。 従来の手法では、学生はLLMによって生成されるステップバイステップの合理性を模倣する必要がある。 我々はこれらの問題に対処する統合フレームワークKPODを提案する。
  論文  参考訳（メタデータ） (2024-05-25T05:27:38Z)
• Disperse-Then-Merge: Pushing the Limits of Instruction Tuning via Alignment Tax Reduction [75.25114727856861]
  大規模言語モデル(LLM)は、スーパービジョンされた微調整プロセスの後半で劣化する傾向にある。 この問題に対処するための単純な分散結合フレームワークを導入する。 我々のフレームワークは、一連の標準知識と推論ベンチマークに基づいて、データキュレーションや正規化の訓練など、様々な高度な手法より優れています。
  論文  参考訳（メタデータ） (2024-05-22T08:18:19Z)
• Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing [61.98556945939045]
  収集された軌道上でのDPO(Direct Preference Optimization)を通して計画に基づく推論を学習するフレームワークを提案する。 論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
  論文  参考訳（メタデータ） (2024-02-01T15:18:33Z)
• Training Chain-of-Thought via Latent-Variable Inference [30.21067593018967]
  大規模言語モデル(LLM)は、チェーン・オブ・シンクレットのプロンプトを使って解答ステップを実行するように指示されたときに、より正確かつ解釈可能な問題を解決する。 CoTと教師付きチューニングを組み合わせるには、正しい回答だけでなく、それらの答えにつながる詳細な根拠の監督が必要である。 そこで本研究では,CoTプロンプトを用いて正しい回答を生成することで,電子対数類似度を最大化するための微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-28T17:47:32Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)
• CoCoMoT: Conformance Checking of Multi-Perspective Processes via SMT (Extended Version) [62.96267257163426]
  我々はCoCoMoT(Computing Conformance Modulo Theories)フレームワークを紹介する。 まず、純粋な制御フロー設定で研究したSATベースのエンコーディングを、データ認識ケースに持ち上げる方法を示す。 次に,プロパティ保存型クラスタリングの概念に基づく新しい前処理手法を提案する。
  論文  参考訳（メタデータ） (2021-03-18T20:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。