論文の概要: Where to Start, How to Move: Analyzing Curricula under GRPO for Long-Horizon LLM Agents

• arxiv url: http://arxiv.org/abs/2610.19349v1
• Date: Wed, 14 Oct 2026 00:42:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 12:10:45.440613
• Title: Where to Start, How to Move: Analyzing Curricula under GRPO for Long-Horizon LLM Agents
• Title（参考訳）: 動き方:GRPO下での長軸LDM剤のキュリキュラ解析
• Abstract要約: グループ相対政策最適化(GRPO)は、すべてのロールアウトが同じ報酬を受ける場合、報酬関係の学習信号を提供しない。 複数の相互作用を必要とする長期タスクでは、報酬はタスク完了の成功時にのみ与えられる。 本研究では,初期位置,ハンドオフ単位,移動規則がタスク完了にどう影響するかを検討する。
• 参考スコア（独自算出の注目度）: 18.823511821287187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group Relative Policy Optimization (GRPO) provides no reward-relative learning signal when all rollouts receive identical rewards. In long-horizon tasks that require multiple interactions, rewards are given only upon successful task completion, making all-fail groups common early in training and limiting opportunities to practice later steps. Guide Assisted GRPO replays a successful reference prefix before the learner continues. We study how initial positions, handoff units, and movement rules affect unassisted task completion. Across three model sizes on BFCL, starting near completion is more effective under a fixed turn-level threshold rule. Finer handoffs alone do not consistently help, but outcome-informed tool-call selection outperforms GRPO on trained and untrained task categories. Guided starts also improve AppWorld success on both evaluation splits. These findings highlight where learning starts and how starting positions move as key curriculum choices.
• Abstract（参考訳）: グループ相対政策最適化(GRPO)は、すべてのロールアウトが同じ報酬を受ける場合、報酬関係の学習信号を提供しない。 複数のインタラクションを必要とする長期タスクでは、報酬はタスク完了の成功時にのみ与えられ、訓練の初期段階ですべての障害グループを一般的にし、後続のステップを実践する機会を制限する。 Guide Assisted GRPOは、学習者が継続する前に、成功した参照プレフィックスを再生する。 本研究では,初期位置,ハンドオフ単位,移動規則がタスク完了にどう影響するかを検討する。 BFCL上の3つのモデルサイズで、ほぼ完了し、固定されたターンレベルしきい値規則の下でより効果的である。 ファイナハンドオフだけでは、常に役に立ちませんが、結果インフォームされたツールコールの選択は、トレーニングされたタスクカテゴリとトレーニングされていないタスクカテゴリでGRPOより優れています。 Guidedは、両方の評価分割でAppWorldの成功も改善する。 これらの知見は、学習の開始点と開始位置が重要なカリキュラム選択としてどのように動くかを強調している。

関連論文リスト

• PGPO: Potential-Guided Policy Optimization for Multi-Turn Agentic Tasks [41.82007055765541]
  マルチターンエージェントタスクに対する潜在的誘導型ポリシー最適化を提案する。 各ロールアウトグループ内のアンカー状態群戻り統計から経験的状態ポテンシャルを推定する。 その後、隣接する状態間の潜在的な差異から行動上の利点を導き出し、軌道間クレジットの伝播を可能にする。
  論文  参考訳（メタデータ） (2026-09-02T07:44:16Z)
• Prism-GRPO: Faster VLA Policy Optimization via Splitting Same-outcome Groups [14.712224182088327]
  二進的な成功報酬の下では、ロールアウトがすべて成功またはすべて失敗するグループは、ゼロの優位性を持ち、動的サンプリングによって破棄される。 そこで我々はPrism-GRPOを導入し,重み付けされた軌道レベルの実行品質スコアでバイナリ結果の報酬を増大させる。 品質スコアは、シミュレータのコンタクト、実行されたアクション、視覚的な観察から導き出すことができ、タスク固有の進捗報酬を避けることができる。
  論文  参考訳（メタデータ） (2026-08-18T06:44:16Z)
• Temporal GRPO: Beyond Trajectory-Level Credit in Vision-Language-Action Reinforcement Learning [27.507258147328]
  アウトカム駆動強化学習は、タスク・サクセスの少ないフィードバックから、視覚-言語-アクション(VLA)ポリシーをトレーニング後処理するスケーラブルな方法を提供する。 RoboTwin 2.0では、Temporal GRPOがタスク成功とサンプル効率を改善し、タスク水平線を一貫したゲインを実現している。
  論文  参考訳（メタデータ） (2026-08-13T09:54:14Z)
• Learning Process Rewards via Success Visitation Matching for Efficient RL [54.67547527674048]
  本稿では,スパース結果報酬を高密度プロセス報酬に変換するための簡単な手法を提案する。 我々のアプローチは、以前の成功と失敗のエピソードを区別するために差別者を訓練することに依存しています。 この報酬は、タスクの成功に対応するものだけでなく、すべての州への訪問に対応するポリシーをインセンティブにすることで、タスク完了に向けた進捗が進められているかどうかについての深いフィードバックを提供する。
  論文  参考訳（メタデータ） (2026-06-22T17:30:24Z)
• Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
  検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。 オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。 本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-06-14T03:37:27Z)
• Enhancing LLM-based Search Agents via Contribution Weighted Group Relative Policy Optimization [47.7937991619078]
  本稿では,プロセスの監督をグループ相対的な政策最適化に統合するフレームワークであるコントリビューション重み付きGRPOを提案する。 CW-GRPOは、LLM判定器を用いて、検索ラウンド毎の検索ユーティリティと推論精度を評価し、ラウンド毎のコントリビューションスコアを生成する。 複数の知識集約型ベンチマークの実験では、CW-GRPOはQwen3-8Bでは5.0%、Qwen3-1.7Bでは6.3%、標準GRPOより優れていた。
  論文  参考訳（メタデータ） (2026-04-15T17:37:59Z)
• Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning [70.6126069527741]
  ConvRec-R1は会話レコメンデーションシステムのエンドツーエンドトレーニングのための2段階のフレームワークである。 ステージ1では,Remap-Reflect-Adjustパイプラインを用いた行動閉鎖データセットを構築した。 ステージ2では,グループ相対政策最適化の原則的拡張である Rank-GRPO を提案する。
  論文  参考訳（メタデータ） (2025-10-23T02:56:00Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Adaptive Reward Design for Reinforcement Learning [2.3031174164121127]
  本稿では,RLエージェントをインセンティブとして,論理式で指定されたタスクを可能な限り完了させる報奨関数群を提案する。 学習過程において報酬関数を動的に更新する適応型報酬生成手法を開発した。
  論文  参考訳（メタデータ） (2024-12-14T18:04:18Z)
• Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
  本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。 アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。 我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
  論文  参考訳（メタデータ） (2022-12-30T12:32:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。