論文の概要: H$^2$R: Hierarchical Hint-Based Reward for Mathematical Reasoning via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.39934v1
• Date: Thu, 29 Oct 2026 12:36:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.505324
• Title: H$^2$R: Hierarchical Hint-Based Reward for Mathematical Reasoning via Reinforcement Learning
• Title（参考訳）: H$^2$R:強化学習による数学的推論のための階層的ヒントベースリワード
• Abstract要約: Reinforcement Learning with Verifiable Rewardsは,大規模言語モデルにおける数学的推論の強化に大きく貢献している。 我々は、数学的問題の本質的なサブクエスト構造を構造化中間条件信号として活用するフレームワークであるtextbfHierarchical Hint-based Reward を提案する。
• 参考スコア（独自算出の注目度）: 0.948021175079285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning with Verifiable Rewards has shown great promise in enhancing mathematical reasoning in large language models. However, existing approaches provide limited intermediate supervision for complex, multi-step reasoning tasks. To bridge this gap, we propose \textbf{Hierarchical Hint-based Reward}, a framework that leverages the intrinsic sub-question structure of mathematical problems as structured intermediate conditioning signals during RLVR training. Unlike chain-of-thought prompting, these hierarchical hints serve as logically grounded intermediate milestones that effectively reduce the reasoning horizon toward the final answer. To validate this framework, we introduce \textbf{HiMath}, a benchmark of hierarchically structured mathematical problems. Across diverse LLMs, hierarchical hints consistently improve reasoning performance even without task-specific training. When integrated into RL training via H$^2$R, they boost Qwen2.5-Math-7B accuracy on HiMath from 30.4\% to 39.1\% using hierarchical hints, and up to 45.6\% with Oracle Hierarchical Hints. This pronounced improvement demonstrates that incorporating reliable intermediate checkpoints into reward design is essential for sustaining complex mathematical reasoning.
• Abstract（参考訳）: Reinforcement Learning with Verifiable Rewardsは,大規模言語モデルにおける数学的推論の強化に大きく貢献している。 しかし、既存のアプローチは複雑な多段階推論タスクに対して限定的な中間監督を提供する。 このギャップを埋めるために、RLVRトレーニング中に構造化中間条件信号として数学的問題の本質的なサブクエスト構造を利用するフレームワークである「textbf{Hierarchical Hint-based Reward」を提案する。 チェーン・オブ・シークレットのプロンプトとは異なり、これらの階層的なヒントは論理的に基礎付けられた中間的なマイルストーンとして機能し、最終的な答えに対する推論の地平を効果的に減少させる。 この枠組みを検証するために、階層的に構造化された数学的問題のベンチマークである \textbf{HiMath} を導入する。 多様なLLMにわたって、階層的なヒントはタスク固有のトレーニングなしでも推論性能を一貫して改善する。 H$^2$RでRLトレーニングに統合されると、hiMathのQwen2.5-Math-7B精度は30.4\%から39.1\%に向上し、Oracle Hierarchical Hintsで最大45.6\%まで向上した。 この顕著な改善は、複雑な数学的推論を維持するために、信頼できる中間チェックポイントを報酬設計に組み込むことが不可欠であることを証明している。

関連論文リスト

• LongTraceRL: Learning Long-Context Reasoning from Search Agent Trajectories with Rubric Rewards [53.339700196282905]
  検証可能な報酬(RLVR)による強化学習は,この課題を約束している。 既存の方法は、信頼性の低いインタプリタと、スパースで結果のみの報酬信号によって制限される。 textscLongTraceRLは、ランダムサンプリングやワンショット検索によって作られたものよりもはるかに難しいトレーニングコンテキストを生成する。
  論文  参考訳（メタデータ） (2026-05-29T17:51:40Z)
• Placing Puzzle Pieces Where They Matter: A Question Augmentation Framework for Reinforcement Learning [1.338679434374531]
  強化学習は、大規模言語モデルの推論を強化するための強力なアプローチとなっているが、基本的なジレンマに直面している。 textbfPieceHintは、トレーニング中に重要な推論ステップを戦略的に識別し、提供するヒント注入フレームワークである。
  論文  参考訳（メタデータ） (2026-04-17T08:34:51Z)
• R^3: Replay, Reflection, and Ranking Rewards for LLM Reinforcement Learning [32.16683059021539]
  大規模推論モデル(LRM)は、構造化推論によって多様で複雑な問題を解くことを目的としている。 グループベースの政策最適化手法の最近の進歩は、プロセスレベルのアノテーションに頼らず、安定した優位性推定を可能にすることを約束している。 本報告では,(1)群内優位性を維持するEmphcross-context underlinetextbfReplay戦略,(2)emphin-context self-underlinetextbfReflectionメカニズムの3つの方向に沿った強化学習機構を提案する。
  論文  参考訳（メタデータ） (2026-01-27T13:55:34Z)
• Limits of Generalization in RLVR: Two Case Studies in Mathematical Reasoning [3.437656066916039]
  Reinforcement with Verifiable Rewards (RLVR)は、そのような機能を強化するための有望なアプローチとして登場した。 完全検証解の2つの問題についてRLVRについて検討する。 RLVRは評価基準を改善するが、しばしば新たな推論戦略を得るよりも、表層学習指標を強化することで改善する。
  論文  参考訳（メタデータ） (2025-10-30T23:16:02Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)
• Reinforced Latent Reasoning for LLM-based Recommendation [92.56166822197919]
  大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。 既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。 本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
  論文  参考訳（メタデータ） (2025-05-25T11:03:45Z)
• FLARE: Faithful Logic-Aided Reasoning and Exploration [47.46564769245296]
  タスク分解を用いて問題空間をトラバースする新しい手法を提案する。 我々はLarge Language Modelsを使ってソリューションを計画し、クエリを事実に軟式化し、論理プログラミングコードを使って述語する。 提案手法は,生成したコードに対する推論プロセスの忠実度を計算し,外部の解法に頼らずにマルチホップ探索のステップを解析する。
  論文  参考訳（メタデータ） (2024-10-14T19:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。