論文の概要: TIPS: Turn-Level Information-Potential Reward Shaping for Search-Augmented LLMs

• arxiv url: http://arxiv.org/abs/2603.22293v1
• Date: Wed, 11 Mar 2026 17:45:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:12.979165
• Title: TIPS: Turn-Level Information-Potential Reward Shaping for Search-Augmented LLMs
• Title（参考訳）: TIPS:検索拡張LDMのためのターンレベル情報-電位逆整形
• Authors: Yutao Xie, Nathaniel Thomas, Nicklas Hansen, Yang Fu, Li Erran Li, Xiaolong Wang,
• Abstract要約: TIPS(Turn-Level Information Potential Reward Shaping)を紹介する。 TIPSは、教師モデルの下で正しい回答が増加する可能性に基づいて、各推論とツールコールセグメントに高密度でターンレベルの報酬を割り当てるフレームワークである。 TIPSはGRPO/PPOベースラインを一貫して上回り、トレーニング安定性を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 29.64044161352673
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Search-augmented large language models (LLMs) trained with reinforcement learning (RL) have achieved strong results on open-domain question answering (QA), but training still remains a significant challenge. The optimization is often unstable due to sparse rewards and difficult credit assignments across reasoning and tool calls. To address this, we introduce Turn-Level Information Potential Reward Shaping (TIPS), a simple framework that assigns dense, turn-level rewards to each reasoning + tool-call segment based on the increased likelihood of the correct answer under a teacher model. By leveraging the potential-based reward shaping, TIPS offers fine-grained and policy-invariant guidance that overcomes the limitations of outcome-only optimization. Evaluated on seven QA benchmarks, TIPS consistently outperforms GRPO/PPO baselines and substantially improves training stability. For instance, with a Qwen-2.5 7B Instruct model, TIPS improves the average Exact Match score by 11.8% and F1 by 13.6% relative to PPO. Our results demonstrate that turn-level information-potential reward shaping provides an effective and general solution to sparse-reward credit assignment for multi-turn LLM reasoning.
• Abstract（参考訳）: 強化学習(RL)で訓練された検索強化大言語モデル(LLM)は、オープンドメイン質問応答(QA)において大きな成果を上げてきたが、いまだに重要な課題である。 厳格な報酬と、推論やツールコールにまたがる困難なクレジット割り当てのため、最適化はしばしば不安定である。 そこで本研究では,教師モデルに基づく正解の可能性の増大に基づいて,各推論やツールコールセグメントに高密度のターンレベルの報酬を割り当てるシンプルなフレームワークであるターンレベル情報潜在的リワードシェーピング(TIPS)を紹介した。 潜在的な報酬形成を活用することで、TIPSは結果のみの最適化の限界を克服する、きめ細かなポリシー不変のガイダンスを提供する。 7つのQAベンチマークで評価すると、TIPSはGRPO/PPOベースラインを一貫して上回り、トレーニング安定性を大幅に改善する。 例えば、Qwen-2.5 7Bインストラクトモデルでは、TIPSは平均エクサクトマッチスコアを11.8%、F1を13.6%改善している。 以上の結果から,マルチターンLDM推論におけるスパース・リワード・クレジット・アサインの有効かつ汎用的な解法が得られた。

関連論文リスト

• Are complicated loss functions necessary for teaching LLMs to reason? [0.16383644639245779]
  グループ相対政策最適化は、大規模言語モデル(LLM)において有望であることを示す。 ReINFORCE with Group Relative Advantage (RGRA) は、グループ相対的優位性を保ちつつ、PPOスタイルのクリッピングとポリシー比の項を除去する単純化された変種である。 以上の結果から,よりシンプルなREINFORCEベースのアプローチはLLMの推論を効果的に促進し,GRPOのより透明で効率的な代替手段を提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-03-19T11:06:49Z)
• Enhancing Agentic RL with Progressive Reward Shaping and Value-based Sampling Policy Optimization [13.475938754147625]
  Tool-Integrated Reasoning (TIR)で強化されたLarge Language Models (LLM)は、反復的に計画し、外部ツールを呼び、返却された情報を統合して、複雑な長期的推論タスクを解決する。 エージェント強化学習(Agentic RL)は、ツール・インタラクションの完全な軌跡よりも、そのようなモデルを最適化する。 1)バイナリ0-1検証信号のようなスパースで非インストラクティブな報酬は、中間ステップの限られたガイダンスと緩やかな収束を与える。 本稿では,PRS(Progressive Reward Shaping)とVSPO(Value-based Sampling Policy Optimization)の2つの補完手法を提案する。
  論文  参考訳（メタデータ） (2025-12-08T11:59:25Z)
• PROPA: Toward Process-level Optimization in Visual Reasoning via Reinforcement Learning [30.44007644340425]
  本稿では,モンテカルロ木探索 (MCTS) とGRPOを統合した新しいフレームワーク PROPA について紹介する。 7つのベンチマークと4つのVLMバックボーンで、PROPAはSFTとRLVRベースのベースラインを一貫して上回っている。 ドメイン内タスクで最大17.0%、ドメイン外タスクで最大21.0%のゲインを達成する。
  論文  参考訳（メタデータ） (2025-11-13T13:06:12Z)
• Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn LLM Agents [28.145430029174577]
  大規模言語モデル(LLM)ベースのエージェントは、外部環境と対話する能力を高めるために強化学習(RL)でますます訓練されている。 既存のアプローチは通常、最終回答でのみ提供される結果に基づく報酬に依存します。 本稿では,情報ゲインに基づくポリシー最適化(IGPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:32Z)
• Critique-GRPO: Advancing LLM Reasoning with Natural Language and Numerical Feedback [59.078756231841574]
  Critique-GRPOは、自然言語と数値フィードバックを統合して効果的なポリシー最適化を行うオンラインRLフレームワークである。 批判-GRPOは、教師付き学習とRLに基づく微調整法を8つの難解な数学、STEM、一般的な推論タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-06-03T17:39:02Z)
• On-Policy RL with Optimal Reward Baseline [109.47676554514193]
  On-Policy RL with Optimal reward baseline (OPO) は、新しい簡易強化学習アルゴリズムである。 OPOは、訓練プロセスを実証的に安定化し、探索を強化する、正確なオンライントレーニングの重要性を強調している。 その結果、OPOの優れた性能と訓練安定性を、追加のモデルや正規化条件なしで示すことができた。
  論文  参考訳（メタデータ） (2025-05-29T15:58:04Z)
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
  我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。 単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。 この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:15:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。