論文の概要: Teach to Learn: Hint Annealing for Self-improving LLM Reasoning

• arxiv url: http://arxiv.org/abs/2609.34975v1
• Date: Mon, 28 Sep 2026 11:53:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 18:10:34.14761
• Title: Teach to Learn: Hint Annealing for Self-improving LLM Reasoning
• Title（参考訳）: Teach to Learn: Hint Annealing for Self-improving LLM Reasoning
• Abstract要約: グループ相対ポリシー最適化は、クエリ毎に複数のソリューションロールアウトで検証された報酬を比較することで、言語モデル推論を改善する。 従来のヒントベースのメソッドは、ソリューションエビデンスから補助的なヒントを構築し、それらを使用して失敗したクエリを再解決する。 我々は、支援なしに推論を改善するために、独自のヒントの生成と使用の両方から学習するオンライン単一政治フレームワークであるHATCHを提案する。
• 参考スコア（独自算出の注目度）: 20.788513084968827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group Relative Policy Optimization (GRPO) improves language-model reasoning by comparing verified rewards among multiple solution rollouts for each query. However, difficult training queries can yield only incorrect rollouts, leaving GRPO with no reward contrast or learning signal. Prior hint-based methods construct auxiliary hints from solution evidence and use them to re-solve failed queries, recovering learning signal. Yet the resulting trajectories are typically treated as ordinary solution trajectories despite being generated under an assisted condition unavailable at evaluation. We discover hinted reward shift: recovered reward contrast can concentrate policy updates on hinted trajectories, limiting improvement without hints. This also creates a trade-off: increasing hinted trajectories can accelerate early learning but intensify reward shift later. To address this problem, we propose HATCH (Hint-Annealed Self-Teaching), an online single-policy framework that learns from both generating and using its own hints to improve reasoning without assistance. To mitigate hinted reward shift, we introduce online weighting to anneal the contribution of hinted trajectories. However, learning to generate hints can conflict with improving query solving. We therefore use gradient projection to remove the opposing component of hint-generation updates. Together, these designs support self-improvement by enabling the policy to create learning opportunities for itself and turn them into stronger reasoning without hints. We evaluate our method on mathematical reasoning benchmarks and outperform state-of-the-art methods by 1.02 pp on Llama-3.2-1B-Instruct, 2.84 pp on Qwen3-1.7B, and 4.32 pp on Qwen3-8B.
• Abstract（参考訳）: Group Relative Policy Optimization (GRPO)は、クエリ毎に複数のソリューションロールアウトで検証された報酬を比較することで、言語モデル推論を改善する。 しかし、難しいトレーニングクエリは誤ったロールアウトしか得られず、GRPOには報酬コントラストや学習信号が残らない。 従来のヒントベースの手法は、解法エビデンスから補助的ヒントを構築し、それを使って失敗したクエリを再解決し、学習信号を回復する。 しかし、結果として生じる軌跡は、通常、評価時に利用できない補助条件下で生成されるにもかかわらず、通常の溶液軌跡として扱われる。 報酬のコントラストは、ヒントのない改善を制限することで、ヒント付き軌跡のポリシー更新に集中することができます。 ヒント付き軌道の増大は早期学習を加速させるが、後で報酬のシフトを強める。 この問題に対処するため,HATCH (Hint-Annealed Self-Teaching) を提案する。 ヒント付き報酬のシフトを軽減するため、ヒント付き軌跡の寄与を軽減すべく、オンライン重み付けを導入する。 しかし、ヒントを生成する学習は、クエリ解決の改善と矛盾する可能性がある。 そこで我々は、ヒント生成更新の反対成分を取り除くために勾配投影を用いる。 これらのデザインは、政策が自身の学習機会を創造し、ヒントなしでより強力な推論にすることで、自己改善をサポートする。 我々は,Llama-3.2-1B-インストラクトの1.02pp,Qwen3-1.7Bの2.84pp,Qwen3-8Bの4.32ppにより,数学的推論ベンチマークおよび最先端手法の評価を行った。

関連論文リスト

• Distilling LLM Feedback for Lean Theorem Proving [20.86168010460303]
  推論モデルのポストトレーニングは通常、教師付き微調整と、検証可能な報酬からの強化学習を組み合わせる。 このアルゴリズムはスパース報酬、限られた探索、モード崩壊に悩まされている。 本稿では,モデルがトークンレベルで,特権フィードバックを条件とした独自の分布に適合するように訓練されたトレーニング手法であるフィードバック蒸留を提案する。
  論文  参考訳（メタデータ） (2026-05-29T05:35:00Z)
• Accelerating trajectory optimization with Sobolev-trained diffusion policies [12.684196947818103]
  軌道最適化(TO)ソルバは、既知の系力学を利用して局所最適軌道を計算する。 欠点は、各新しい問題インスタンスが独立して解決されることです。 効率性を改善するために、学習されたポリシーによって生成された最初の推測でTOをウォームスタートする自然なアプローチがある。
  論文  参考訳（メタデータ） (2026-04-21T03:00:52Z)
• Learning to Hint for Reinforcement Learning [51.46328710610512]
  グループ相対政策最適化(GRPO)は、検証可能な報酬を伴う強化学習に広く用いられている。 GRPOは、グループ内のすべてのロールアウトが同じ報酬を受けると、しばしば有利な崩壊に苦しむ。 Hint Learning for Reinforcement Learning (HiLL)を提案する。
  論文  参考訳（メタデータ） (2026-04-01T09:58:08Z)
• Learn Hard Problems During RL with Reference Guided Fine-tuning [56.56461712665904]
  数学的推論のための強化学習(RL)は報酬の分散に悩むことがある。 本稿では,Reference-Guided Fine-Tuning (ReGFT)を導入し,ハード問題に対する正の軌道を合成し,RLの前にトレーニングする。 以上の結果から,ReGFTは報酬空間を効果的に克服し,より強力なRLに基づく数学的推論を解き放つことが示唆された。
  論文  参考訳（メタデータ） (2026-03-01T18:41:28Z)
• R^3: Replay, Reflection, and Ranking Rewards for LLM Reinforcement Learning [32.16683059021539]
  大規模推論モデル(LRM)は、構造化推論によって多様で複雑な問題を解くことを目的としている。 グループベースの政策最適化手法の最近の進歩は、プロセスレベルのアノテーションに頼らず、安定した優位性推定を可能にすることを約束している。 本報告では,(1)群内優位性を維持するEmphcross-context underlinetextbfReplay戦略,(2)emphin-context self-underlinetextbfReflectionメカニズムの3つの方向に沿った強化学習機構を提案する。
  論文  参考訳（メタデータ） (2026-01-27T13:55:34Z)
• Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
  我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。 学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-10-02T09:55:26Z)
• Nudging the Boundaries of LLM Reasoning [77.26972440427285]
  現在のオンライン強化学習アルゴリズムは、モデルに「解決不可能」な問題から学べない。 自己生成ヒントを用いてLLM推論の上界を推し進める「看護」手法であるNuRLを提案する。 NuRLは、テスト時間スケーリングを補完しながら、6つのベンチマークと3つのモデルで一貫した改善を実現している。
  論文  参考訳（メタデータ） (2025-09-30T02:01:40Z)
• Reinforced Latent Reasoning for LLM-based Recommendation [92.56166822197919]
  大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。 既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。 本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
  論文  参考訳（メタデータ） (2025-05-25T11:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。