論文の概要: Hint-Guided Diversified Policy Optimization for LLM Reasoning
- arxiv url: http://arxiv.org/abs/2606.03021v1
- Date: Tue, 02 Jun 2026 01:55:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:04.682996
- Title: Hint-Guided Diversified Policy Optimization for LLM Reasoning
- Title（参考訳）: LLM推論のためのHint-Guided Diversified Policy Optimization
- Authors: Zhiyu Cao, Kaixin Wu, Mingjie Zhong, Peifeng Li, Xiaobo Li, Can Ye, Qiaoming Zhu,
- Abstract要約: Reinforcement Learning with Verifiable Rewards (RLVR)は、大規模言語モデルのための有望な強化戦略である。
本稿では,Hint-Guided Diversified Policy Optimization (HDPO)を提案する。
実験の結果,HDPOはLLM推論を効果的に促進し,候補解の多様性を高めることが示された。
- 参考スコア（独自算出の注目度）: 24.677908259275057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent developments in Large Language Models (LLMs) have showcased impressive reasoning capabilities, with Reinforcement Learning with Verifiable Rewards (RLVR) being a promising enhancement strategy. However, existing reward mechanisms are constrained to the outcome-level correctness and lack explicit signals to guide the model to consider diverse solutions. In contrast, human problem solving typically involves evaluating multiple potential approaches and selecting the most reliable solution, a cognitive process that current RLVR frameworks do not explicitly incentivize. Inspired by this, we propose Hint-Guided Diversified Policy Optimization (HDPO), allowing the model to first list all potential candidate solution outlines as hints and then select the most reliable one for further reasoning. HDPO comprises two stages of Cold Start for Structured Reasoning and Hint-Guided Diversified Reinforcement Learning to incentivize the model to generate diverse and reliable solutions following the ``propose-select-think'' trajectory. Experimental results show that HDPO effectively boosts LLM reasoning and enhances the diversity of candidate solutions as well as the LLM's ability to identify reliable solutions.
- Abstract（参考訳）: 近年のLLM(Large Language Models)の発展は、Reinforcement Learning with Verifiable Rewards(RLVR)が有望な強化戦略であるなど、印象的な推論能力を示している。
しかし、既存の報酬メカニズムは結果レベルの正確さに制約され、多様な解決策を検討するためのモデルを示す明確な信号が欠如している。
対照的に、人間の問題解決は通常、複数の潜在的なアプローチを評価し、最も信頼性の高いソリューションを選択することを含み、それは現在のRLVRフレームワークが明示的にインセンティブを与えていない認知プロセスである。
そこで本研究では,Hint-Guided Diversified Policy Optimization (HDPO)を提案する。
HDPOは構造化推論のためのコールドスタートとHint-Guided Diversified Reinforcement Learningの2段階からなる。
実験の結果,HDPOはLLM推論を効果的に促進し,候補解の多様性を高めるとともに,信頼性の高い解を識別する能力も向上することが示された。
関連論文リスト
- The Reasoning-Creativity Trade-off: Toward Creativity-Driven Problem Solving [57.652356955571065]
最先端の大規模言語モデル(LLM)パイプラインは、ブートストラップの推論ループに依存している。
我々は、この設計選択が、推論経路上のモデルの分布の崩壊にどのように敏感であるかを分析する。
本稿では,分散創造推論(DCR)について紹介する。これは,解トレースの確率測定を通じて,トレーニングを勾配流としてキャストする,統一的な変分目的である。
論文 参考訳（メタデータ） (2026-01-02T17:10:31Z) - Latent Chain-of-Thought for Visual Reasoning [53.541579327424046]
大型視覚言語モデル(LVLM)の解釈可能性および信頼性向上には,チェーン・オブ・シント(CoT)推論が不可欠である
我々は,LVLMにおける推論を後部推論として再構成し,償却変分推論に基づくスケーラブルなトレーニングアルゴリズムを提案する。
提案手法は,7つの推論ベンチマークにおいて,最先端のLVLMを強化することを実証的に実証する。
論文 参考訳（メタデータ） (2025-10-27T23:10:06Z) - Learning to Refine: Self-Refinement of Parallel Reasoning in LLMs [102.48588475875749]
本稿では,新しい並列テスト時間スケーリングフレームワークであるGenerative Self-Refinement (GSR)を紹介する。
GSRは一連の候補応答を並列に生成し、その後自己精製を行い、新しい優れた解を合成する。
提案手法は,5つの数学ベンチマークにおいて,最先端性能を実現する。
論文 参考訳（メタデータ） (2025-08-27T06:51:48Z) - Diversity-Aware Policy Optimization for Large Language Model Reasoning [42.09410936368148]
大規模言語モデルに対するRLに基づく学習における多様性の影響について検討する。
多様性を考慮したポリシー最適化手法を提案する。
本手法は4つの数学的推論ベンチマークで平均3.5パーセントの改善を実現している。
論文 参考訳（メタデータ） (2025-05-29T13:27:44Z) - LARES: Latent Reasoning for Sequential Recommendation [96.26996622771593]
本稿では、シークエンシャルレコメンデーションのための新しいスケーラブルなLatent ReasoningフレームワークであるLARESを紹介する。
提案手法では,パラメータの複雑性を増大させることなく推理深度を柔軟に拡張できる再帰的アーキテクチャを用いている。
我々のフレームワークは既存の高度なモデルとのシームレスな互換性を示し、推奨性能をさらに向上させる。
論文 参考訳（メタデータ） (2025-05-22T16:22:54Z) - Reinforcing Multi-Turn Reasoning in LLM Agents via Turn-Level Reward Design [35.544075583073685]
マルチターンRLアルゴリズムとエージェント応用のためのテキストターンレベルの報酬設計に関する最初の体系的研究について述べる。
我々は、多ターン推論強化検索エージェントのケーススタディを行い、検証可能とLCM-as-judgeの2種類のターンレベルの報酬を慎重に設計する。
マルチターン探索タスクの実験により、適切に設計されたターンレベルの報酬を組み込むことで、RLアルゴリズムは軌道レベルの報酬でベースライン法を大幅に上回ることを示す。
論文 参考訳（メタデータ） (2025-05-17T04:09:46Z) - PAIR: A Novel Large Language Model-Guided Selection Strategy for Evolutionary Algorithms [2.3244035825657963]
本稿では、PAIR(Preference-Aligned individual Reciprocity)を紹介する。
PAIRは人間に似た配偶者選択をエミュレートし、進化的アルゴリズム(EA)におけるペアリングプロセスにインテリジェンスを導入する
論文 参考訳（メタデータ） (2025-03-05T07:45:56Z) - On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。
我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。
未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
論文 参考訳（メタデータ） (2024-10-08T03:12:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。