論文の概要: SHARPO: Segment-Level Credit Assignment for Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.00838v1
• Date: Wed, 30 Sep 2026 23:51:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.809742
• Title: SHARPO: Segment-Level Credit Assignment for Agentic Reinforcement Learning
• Title（参考訳）: SHARPO:エージェント強化学習のためのセグメントレベルクレジットアサインメント
• Abstract要約: 本稿では、クレジットアサインメント機構である政策最適化のためのセグメンツレベルの隠れアドバンテージリウェイト(SHARPO)を紹介する。 SHARPOは既存のオンライン自己蒸留法(OPSD)にインスパイアされ、各セグメント内の教師と学生の対数確率のギャップを計算する。 この乗算器はセグメント内のすべてのトークンで共有され、クレジットはセグメントによって異なる。
• 参考スコア（独自算出の注目度）: 18.26267320529406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic reinforcement learning (RL) trains a large language model (LLM) to act over long, multi-step interactions. However, a single localized error can cause task failure, while trajectory-level rewards provide limited guidance for assigning credit to individual decisions. To address this limitation, we introduce Segment-level Hindsight Advantage Reweighting for Policy Optimization (SHARPO), a credit-assignment mechanism that refines Group Relative Policy Optimization (GRPO) at the level of environment-facing segments. Inspired by the existing on-policy self-distillation (OPSD) method, SHARPO computes teacher-student log-probability gaps within each segment and uses the resulting signal to compute a bounded multiplier on the GRPO advantage. This multiplier is shared by all tokens within the segment, allowing credit to vary across different segments. With Qwen2.5-7B-Instruct, SHARPO outperforms existing baselines on the ALFWorld and WebShop benchmarks, including GRPO, SDAR, RLSD, and StepOPSD.
• Abstract（参考訳）: エージェント強化学習(RL)は大規模言語モデル(LLM)を訓練し、長期にわたる多段階の相互作用に対処する。 しかし、単一のローカライズされたエラーはタスクの失敗を引き起こし、トラジェクトリレベルの報酬は個々の決定にクレジットを割り当てるための限定的なガイダンスを提供する。 この制限に対処するため、環境対応セグメントのレベルにおいてグループ相対政策最適化(GRPO)を洗練させる信用割譲機構である、政策最適化のためのセグメンツレベルのヒンズート・アドバンテージ・リヘッジ(SHARPO)を導入する。 既存のオンライン自己蒸留(OPSD)法にインスパイアされたSHARPOは、各セグメント内の教師と学生の対数確率のギャップを計算し、その結果の信号を用いてGRPOの利点に基づいて有界乗算器を計算する。 この乗算器はセグメント内のすべてのトークンで共有され、クレジットはセグメントによって異なる。 Qwen2.5-7B-Instructでは、SHARPOは、GRPO、SDAR、LSD、StepOPSDなど、ALFWorldおよびWebShopベンチマークの既存のベースラインを上回っている。

関連論文リスト

• SLCA-GRPO: Resolving Cross-Segment Credit Misattribution in Tool-Calling RL [3.424504714391474]
  SLCA(Segment-Locked Credit Assignment)を組み込んだSLCA-GRPOを提案する。 SLCAはロールアウトの単一グループ内の構造セグメントレベルでの利点をデカップリングする。 ツールの冗長性とコストを低減して高い精度を実現する。
  論文  参考訳（メタデータ） (2026-09-24T05:31:54Z)
• PGPO: Potential-Guided Policy Optimization for Multi-Turn Agentic Tasks [41.82007055765541]
  マルチターンエージェントタスクに対する潜在的誘導型ポリシー最適化を提案する。 各ロールアウトグループ内のアンカー状態群戻り統計から経験的状態ポテンシャルを推定する。 その後、隣接する状態間の潜在的な差異から行動上の利点を導き出し、軌道間クレジットの伝播を可能にする。
  論文  参考訳（メタデータ） (2026-09-02T07:44:16Z)
• HiPER: Hierarchical Reinforcement Learning with Explicit Credit Assignment for Large Language Model Agents [36.77027704958893]
  HiPERは階層的計画実行(Hierarchical Plan-Execute RL)フレームワークで、高レベルの計画と低レベルの実行を分離する。 HiPER は ALFWorld で97.4%、Qwen2.5-7B-Instruct で WebShop で83.3% を達成している。
  論文  参考訳（メタデータ） (2026-02-18T03:31:34Z)
• Solving the Granularity Mismatch: Hierarchical Preference Learning for Long-Horizon LLM Agents [56.625878022978945]
  自律的なエージェントとしての大規模言語モデル(LLM)は、複雑で長期にわたる問題の解決にますます取り組まれている。 直接優先度最適化(DPO)は、正確なクレジット代入には大きすぎる信号を提供するが、ステップレベルのDPOは、しばしば、複数のステップの振る舞いの値をキャプチャするには、筋が通らない。 階層的選好学習(HPL)は、複数の相乗的粒度における選好信号を活用することで、LLMエージェントを最適化する階層的フレームワークである。
  論文  参考訳（メタデータ） (2025-09-26T08:43:39Z)
• DISCO Balances the Scales: Adaptive Domain- and Difficulty-Aware Reinforcement Learning on Imbalanced Data [65.09939942413651]
  本稿では,グループ間不均衡と2つの重要なイノベーションに対処するGRPOの原理的拡張を提案する。 ドメイン対応報酬スケーリングは、ドメインの頻度に基づいて最適化を再重み付けすることで周波数バイアスに対処する。 難解な報酬のスケーリングは、学習価値を提供する不確実なプロンプトを特定し、優先順位付けするために、プロンプトレベルの自己整合性を活用する。
  論文  参考訳（メタデータ） (2025-05-21T03:43:29Z)
• Group-in-Group Policy Optimization for LLM Agent Training [17.243181792126563]
  Group-in-Group Policy Optimization (GiGPO) は、LLMエージェントのきめ細かいクレジット割り当てを実現する新しいRLアルゴリズムである。 我々は, ALFWorld や WebShop などのエージェントベンチマークに対する GiGPO の評価と,検索強化されたQA タスクに対するツール統合推論を行った。
  論文  参考訳（メタデータ） (2025-05-16T08:26:59Z)
• SDPO: Segment-Level Direct Preference Optimization for Social Agents [56.970902914217156]
  大規模言語モデル(LLM)を利用した社会エージェントは、人間の社会的振る舞いをシミュレートできるが、複雑な社会対話を扱うには不十分である。 マルチターンエージェントの動作を最適化するために,対話内のキーセグメントを動的に選択するセグメントレベル直接参照最適化(SDPO)を提案する。
  論文  参考訳（メタデータ） (2025-01-03T14:09:46Z)
• CSL: Class-Agnostic Structure-Constrained Learning for Segmentation Including the Unseen [62.72636247006293]
  クラス非依存構造制約学習(Class-Agnostic Structure-Constrained Learning)は、既存のメソッドと統合可能なプラグインフレームワークである。 OODオブジェクトセグメンテーションを強化するソフトアサインとマスク分割手法を提案する。 実証的な評価は、OODセグメンテーション、ZS3、DAセグメンテーションにまたがる既存のアルゴリズムの性能を向上させるCSLの進歩を示している。
  論文  参考訳（メタデータ） (2023-12-09T11:06:18Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。