論文の概要: STRIDE: Strategic Trajectory Reasoning via Discriminative Estimation for Verifiable Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.15866v1
• Date: Sun, 14 Jun 2026 15:37:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.899647
• Title: STRIDE: Strategic Trajectory Reasoning via Discriminative Estimation for Verifiable Reinforcement Learning
• Title（参考訳）: STRIDE:検証強化学習のための識別的推定による戦略的軌道推論
• Abstract要約: RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なポストトレーニングパラダイムである。 我々は,戦略的推論の監督を検証結果から導き出す,詳細なRLVRフレームワークSTRIDEを提案する。
• 参考スコア（独自算出の注目度）: 17.950660176752987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) has become an effective post-training paradigm for improving the reasoning abilities of large language models. However, existing RLVR methods typically rely on final-answer correctness to assign trajectory-level rewards, providing sparse supervision and treating all tokens uniformly regardless of their actual contribution to reasoning. Although recent studies introduce intermediate signals such as process rewards, high-entropy tokens, and semantic uncertainty, these signals are often not inherently verifiable and may fail to distinguish beneficial strategic patterns from harmful ones. To address this limitation, we propose STRIDE (Strategic Trajectory Reasoning with Discriminative Estimation), a fine-grained RLVR framework that derives strategic reasoning supervision from verifiable outcomes. STRIDE contrasts successful and failed trajectories within each response group to estimate the outcome-discriminative preference of each $n$-gram strategic pattern, and further combines this signal with reasoning saliency entropy to identify decision-relevant strategic patterns. These patterns are assigned differentiated advantage values during RL optimization, enabling more precise credit assignment while preserving the verifiability of RLVR. Extensive experiments demonstrate that STRIDE consistently improves reasoning performance across diverse models, tasks, and extended settings, including VLMs and agent-based systems.
• Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なポストトレーニングパラダイムである。 しかし、既存のRLVR法は、通常、軌道レベルの報酬を割り当てるために最終回答の正当性に依存し、緩やかな監督を提供し、推論への実際の貢献にかかわらず全てのトークンを均一に扱う。 近年の研究では、プロセス報酬、高エントロピートークン、セマンティック不確実性などの中間的な信号が紹介されているが、これらの信号は本質的には検証できないことが多く、有害な信号と有益な戦略パターンを区別できない可能性がある。 この制限に対処するために、戦略的推論監督を検証結果から導き出す詳細なRLVRフレームワークSTRIDE(Strategic Trajectory Reasoning with Discriminative Estimation)を提案する。 STRIDEは、各応答群における成功と失敗の軌跡を対比し、各$n$-gram戦略パターンの結果-差別的嗜好を推定し、さらに、この信号と塩分エントロピーの推論を組み合わせ、決定関連戦略パターンを同定する。 これらのパターンは、RLVRの検証可能性を維持しながら、より正確なクレジット割り当てを可能にするため、RL最適化中に区別された利点値が割り当てられる。 広範囲にわたる実験により、STRIDEは様々なモデル、タスク、VLMやエージェントベースのシステムを含む拡張された設定の推論性能を一貫して改善することを示した。

関連論文リスト

• ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
  ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。 Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。 ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
  論文  参考訳（メタデータ） (2026-09-01T10:54:13Z)
• Metacognition as Reward: Reinforcing LLM Reasoning via Knowledge and Regulation Signals [75.25256166997414]
  本稿ではメタ認知に触発されたRLフレームワークであるメタ認知・アズ・リワード(MaR)を紹介する。 MaRは2つの一般的なプロセス次元を推論する。 MaRはモデル性能を継続的に改善し、ベースモデルよりも最大7.7%向上した。
  論文  参考訳（メタデータ） (2026-05-22T08:54:37Z)
• Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。 本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T08:22:21Z)
• Bridging Perception and Reasoning: Token Reweighting for RLVR in Multimodal LLMs [51.60575965819268]
  本稿では,この相互依存を明示的にモデル化するToken-Reweighting(ToR)戦略を提案する。 ToRは複数のマルチモーダル推論ベンチマークで一貫したパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-03-26T06:25:27Z)
• What If Consensus Lies? Selective-Complementary Reinforcement Learning at Test Time [57.533031432715084]
  TTRL(Test-Time Reinforcement Learning)は、Large Language Models(LLM)が、ラベルのないテストストリームの推論能力を向上することを可能にする。 既存のTTRL法は、正の擬似ラベル戦略にのみ依存している。 本研究では,ラベル雑音増幅を効果的に緩和する堅牢なテスト時間強化学習フレームワークであるSCRLを提案する。
  論文  参考訳（メタデータ） (2026-03-20T11:47:12Z)
• Amortized Reasoning Tree Search: Decoupling Proposal and Decision in Large Language Models [2.5170433424424874]
  Reinforcement Learning with Verifiable Rewardsは、大規模言語モデルにおける厳格な推論能力を取り入れるための支配的なパラダイムとして、自らを確立している。 このアライメントプロセスにおいて重要な病理は、有効だが稀な(ベースモデル分布下での低様相)推論経路の体系的抑制である。 本稿では,ベースモデルの潜伏多様性を捨てることなく,この崩壊を防止すべく,ARTS(Amortized Reasoning Tree Search)を提案する。
  論文  参考訳（メタデータ） (2026-02-13T11:52:50Z)
• Beyond Outcome Verification: Verifiable Process Reward Models for Structured Reasoning [14.632557283678898]
  検証可能なプロセスリワードモデル(VPRM)は、中間推論ステップを決定論的、ルールベースの検証によってチェックする強化学習フレームワークである。 医療エビデンス合成のためのリスク・オブ・バイアス評価にVPRMを適用した。 その結果、VPRMは最先端モデルよりも20%高いF1、検証可能な結果報酬より6.5%高いF1を達成することがわかった。
  論文  参考訳（メタデータ） (2026-01-23T23:22:20Z)
• Latent Chain-of-Thought for Visual Reasoning [53.541579327424046]
  大型視覚言語モデル(LVLM)の解釈可能性および信頼性向上には,チェーン・オブ・シント(CoT)推論が不可欠である 我々は,LVLMにおける推論を後部推論として再構成し,償却変分推論に基づくスケーラブルなトレーニングアルゴリズムを提案する。 提案手法は,7つの推論ベンチマークにおいて,最先端のLVLMを強化することを実証的に実証する。
  論文  参考訳（メタデータ） (2025-10-27T23:10:06Z)
• RLVMR: Reinforcement Learning with Verifiable Meta-Reasoning Rewards for Robust Long-Horizon Agents [43.806220882212386]
  RLVMRは、検証可能なメタ推論の振る舞いに報いることによって、密集したプロセスレベルの監視をエンドツーエンドのRLに統合する。 挑戦的なALFWorldとScienceWorldのベンチマークでは、RLVMRが新たな最先端の結果を達成している。
  論文  参考訳（メタデータ） (2025-07-30T17:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。