論文の概要: Selective Off-Policy Reference Tuning with Plan Guidance

• arxiv url: http://arxiv.org/abs/2605.11505v2
• Date: Wed, 13 May 2026 06:41:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 17:13:58.886595
• Title: Selective Off-Policy Reference Tuning with Plan Guidance
• Title（参考訳）: プランガイダンスによる選択型オフポリティ参照チューニング
• Authors: Duc Anh Le, Tien-Phat Nguyen, Thien Huu Nguyen, Linh Ngo Van, Trung Le,
• Abstract要約: SORTはロールアウト生成を変更することなく、これらの障害を修復するアップデートを追加した。 SORTは、オールホワイトプロンプトを均一な模倣ではなく、選択的で構造対応の学習信号に変える。
• 参考スコア（独自算出の注目度）: 38.69275933161611
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards helps reasoning, but GRPO-style methods stall on hard prompts where all sampled rollouts fail. SORT adds a repair update for those failures without changing rollout generation: it derives a plan from the reference solution, compares token probabilities with and without that plan, and gives higher weight to tokens that become more predictable under plan conditioning. This turns all-wrong prompts into selective, structure-aware learning signals instead of uniform imitation. Across three backbones and eight reasoning benchmarks, SORT improves over GRPO and guidance baselines, with largest gains on weaker models.
• Abstract（参考訳）: 検証可能な報酬による強化学習は推論に役立つが、GRPOスタイルのメソッドは、すべてのサンプルロールアウトが失敗するハードプロンプトで停止する。 SORTは、ロールアウト生成を変更することなく、これらの障害の修復アップデートを追加する。これは、参照ソリューションからプランを導き、トークン確率をその計画の有無と比較し、プラン条件下でより予測可能なトークンにより高い重みを与える。 これにより、オールロングプロンプトは、均一な模倣ではなく、選択的で構造を意識した学習信号になる。 3つのバックボーンと8つの推論ベンチマークで、SORTはGRPOとガイダンスベースラインよりも改善され、より弱いモデルに最大の利益をもたらす。

関連論文リスト

• Learning to Hint for Reinforcement Learning [51.46328710610512]
  グループ相対政策最適化(GRPO)は、検証可能な報酬を伴う強化学習に広く用いられている。 GRPOは、グループ内のすべてのロールアウトが同じ報酬を受けると、しばしば有利な崩壊に苦しむ。 Hint Learning for Reinforcement Learning (HiLL)を提案する。
  論文  参考訳（メタデータ） (2026-04-01T09:58:08Z)
• TIPS: Turn-Level Information-Potential Reward Shaping for Search-Augmented LLMs [29.64044161352673]
  TIPS(Turn-Level Information Potential Reward Shaping)を紹介する。 TIPSは、教師モデルの下で正しい回答が増加する可能性に基づいて、各推論とツールコールセグメントに高密度でターンレベルの報酬を割り当てるフレームワークである。 TIPSはGRPO/PPOベースラインを一貫して上回り、トレーニング安定性を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-03-11T17:45:14Z)
• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• Transform-Augmented GRPO Improves Pass@k [50.3707071191733]
  グループ相対政策最適化(GRPO)は推論を改善するために設計されたが、2つの障害モードによって状況が悪化する。 本稿では,各質問に対して意味論的に等価な変換変種を生成するTA-GRPO(Transform-Augmented GRPO)を提案する。 このプール化された計算は、元の質問が簡単すぎるか難しすぎる場合でも、混合報酬を保証する一方、多様なフレーズのトレーニングは、複数のソリューション戦略を促進する。
  論文  参考訳（メタデータ） (2026-01-30T02:43:29Z)
• PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations [52.67948063133533]
  生成レコメンデーションは有望なパラダイムとして現れ、階層的なセマンティックIDよりもシーケンス・ツー・シーケンス生成タスクとしてレコメンデーションを改革している。 既存の手法は、セマンティックドリフト(Semantic Drift)と呼ばれる重要な問題に悩まされ、初期、高レベルのトークンのエラーは、生成軌道を無関係な意味部分空間に不可逆的に分散させる。 本稿では,高密度なステップバイステップ検証を生成モデルに統合する新しいフレームワークPromiseを提案する。
  論文  参考訳（メタデータ） (2026-01-08T07:38:46Z)
• Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
  検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。 ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。 PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
  論文  参考訳（メタデータ） (2025-04-18T17:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。