論文の概要: STRIDE: Learnable Stepwise Language Feedback for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2605.18851v1
• Date: Wed, 13 May 2026 11:04:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.668782
• Title: STRIDE: Learnable Stepwise Language Feedback for LLM Reasoning
• Title（参考訳）: STRIDE: LLM推論のための学習可能なステップワイド言語フィードバック
• Authors: Junjie Zhang, Guozheng Ma, Shunyu Liu, Zetian Hu, Yongcheng Jing, Ting-En Lin, Yongbin Li, Dacheng Tao,
• Abstract要約: 我々はSTRIDEと呼ばれる言語駆動の段階的軌道リダイレクトを提案する。 我々は、結果に基づく報酬のみを使用して生成器と生成検証器を共同で訓練し、外部アノテーションを除去する。 様々な推論ベンチマークの実験では、STRIDEが最先端のベースラインを大幅に上回っていることが示されている。
• 参考スコア（独自算出の注目度）: 80.78140312980484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in Reinforcement Learning (RL) have underscored its potential for incentivizing reasoning capabilities of Large Language Models (LLMs). However, existing step-level efforts suffer from costly annotations that limit domain coverage, while scalar scores further impose an information bottleneck, offering insufficient semantic bandwidth to improve intermediate decisions. Alternative language-critique approaches, which rely on frozen or external critics, provide richer textual feedback but lack the scalability needed for sustained policy improvement. In this work, we propose language-driven stepwise trajectory redirection, termed as STRIDE, a novel training framework that shifts process supervision from scalar rewards to learnable stepwise language feedback. Specifically, we co-train a generator and a generative verifier using only outcome-based rewards, eliminating external annotations, while delivering sustained policy improvement through jointly aligned verifier training. The verifier's stepwise language critiques explicitly localize and explain failures, enabling the generator to redirect reasoning trajectories at intermediate steps toward alternative decisions. The trajectory redirection design guarantees harmless policy improvement, even under noisy or suboptimal verifier feedback. Experiments on diverse reasoning benchmarks show that STRIDE significantly outperforms state-of-the-art baselines, as well as achieving breakthroughs on zero-pass-rate problems where scalar methods yield no learning signal in our ablation studies, demonstrating the effectiveness of learnable stepwise language feedback for enhancing LLM reasoning.
• Abstract（参考訳）: 強化学習(RL)の最近の進歩は、大規模言語モデル(LLM)の推論能力を高める可能性を強調している。 しかし、既存のステップレベルの取り組みはドメインカバレッジを制限するコストのかかるアノテーションに悩まされ、スカラースコアはさらに情報ボトルネックを課し、中間的な決定を改善するためのセマンティックな帯域幅が不足している。 フリーズや外部の批判に依存する言語批判的なアプローチは、よりリッチなテキストフィードバックを提供するが、継続的なポリシー改善に必要なスケーラビリティは欠如している。 本研究では,スカラー報酬から学習可能なステップワイズ言語フィードバックへプロセスの監督を移行させる新しいトレーニングフレームワークSTRIDEを提案する。 具体的には、結果に基づく報酬のみを用いて生成器と生成検証器を共同で訓練し、外部アノテーションを排除し、協調した検証器のトレーニングを通じて継続的な政策改善を実現する。 検証者のステップワイズ言語批判は、失敗を明示的にローカライズし、説明し、ジェネレータは、代替決定に向けて中間ステップで推論軌跡をリダイレクトすることができる。 トラジェクトリ・リダイレクト設計は、ノイズや準最適検証者フィードバックの下でも、無害な政策改善を保証する。 多様な推論ベンチマーク実験により、STRIDEは最先端のベースラインを著しく上回り、スカラー法では学習信号が得られないゼロパスレート問題におけるブレークスルーを達成し、LLM推論を向上させるための学習段階言語フィードバックの有効性を実証した。

関連論文リスト

• Learning from Language Feedback via Variational Policy Distillation [47.05700353631563]
  変分ポリシー蒸留(VPD)は、言語フィードバックからの学習を変分期待最大化問題として形式化するフレームワークである。 VPDは標準のRLVRと既存の自己蒸留ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-14T17:27:34Z)
• Moira: Language-driven Hierarchical Reinforcement Learning for Pair Trading [34.923407379006626]
  多くのシーケンシャルな意思決定問題は階層構造を示し、ハイレベルなセマンティックな選択は下流の動作を制限し、フィードバックは遅延し曖昧である。 この課題は、資産対選択のための長期水平意味推論と、部分的可観測性の下での短期水平実行を自然に組み合わせたドメインであるペアトレーディングを通じて研究する。 階層的強化学習問題としてペアトレーディングを定式化し,高レベルかつ低レベルのポリシを大言語モデル(LLM)でパラメータ化し,即時更新によってのみ最適化する言語駆動型最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-03T16:37:52Z)
• Let's Reward Step-by-Step: Step-Aware Contrastive Alignment for Vision-Language Navigation in Continuous Environments [38.97818584066075]
  VLN-CE(Vision-Language Navigation in Continuous Environments)は、長期にわたる人間のインタラクションから複雑な推論を学ぶためのエージェントである。 現在のトレーニングパラダイムは、一般化能力、エラー回復、トレーニング安定性のバランスをとるのに苦労しています。 本稿では,不完全な軌跡から厳密な監視を抽出するためのフレームワークである,ステップアウェアコントラストアライメント(SACA)を紹介する。
  論文  参考訳（メタデータ） (2026-03-10T14:45:50Z)
• LANPO: Bootstrapping Language and Numerical Feedback for Reinforcement Learning in LLMs [73.27182315028021]
  LANPOは、フィードバックの役割をきれいに分離するフレームワークである。 我々の研究は、歴史体験をLLM RLループに統合する堅牢な方法を提供し、より効果的でデータ効率のよい学習エージェントを作成します。
  論文  参考訳（メタデータ） (2025-10-18T15:51:19Z)
• Dancing with Critiques: Enhancing LLM Reasoning with Stepwise Natural Language Self-Critique [66.94905631175209]
  我々は、段階的に自然言語の自己批判(PANEL)を行う新しい推論時間スケーリング手法を提案する。 ステップレベルの探索プロセスのガイドとして、自己生成の自然言語批判をフィードバックとして採用している。 このアプローチは、タスク固有の検証と関連するトレーニングオーバーヘッドの必要性を回避します。
  論文  参考訳（メタデータ） (2025-03-21T17:59:55Z)
• Zero-shot Model-based Reinforcement Learning using Large Language Models [12.930241182192988]
  本稿では,マルコフ決定過程の動的状態を予測するために,事前学習した大規模言語モデルをどのように活用することができるかを検討する。 本稿では,モデルに基づく政策評価とデータ強化型オフ政治強化学習という2つの強化学習環境における概念実証の応用について述べる。
  論文  参考訳（メタデータ） (2024-10-15T15:46:53Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Gaining Wisdom from Setbacks: Aligning Large Language Models via Mistake Analysis [127.85293480405082]
  大規模言語モデル(LLM)の急速な開発は、多くの機会を提供するだけでなく、重要な課題も提示している。 既存のアライメント手法は、人間による注釈付き、欠陥のない命令応答ペアを利用することで、LLMを好ましい結果に導くのが一般的である。 本研究は誤り解析に基づく新しいアライメント手法を提案する。ミスの原因と回避方法を学習するために,LLMを誤った内容に故意に公開する手法である。
  論文  参考訳（メタデータ） (2023-10-16T14:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。