論文の概要: StepOPSD: Step-Aware Online Preference Distillation for Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.27140v1
• Date: Tue, 26 May 2026 15:07:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.361626
• Title: StepOPSD: Step-Aware Online Preference Distillation for Agent Reinforcement Learning
• Title（参考訳）: StepOPSD:エージェント強化学習のためのステップアウェアオンライン選好蒸留
• Abstract要約: 本稿では,ロールアウト後の自己蒸留フレームワークであるStepOPSDについて紹介する。 StepOPSDは、軌跡をアクション中心のステップセグメントに分解し、後見豊かな教師コンテキスト下でそれらを再構成する。 より小さい_clipは広範囲に安定化された局所信頼領域として作用するが、最適な大域混合強度_mixはタスク依存のままである。
• 参考スコア（独自算出の注目度）: 6.365332042924078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning for multi-turn agents suffers from a credit-assignment mismatch: rewards are sparse and trajectory-level, while success often hinges on a few local decisions. Existing online policy distillation (OPD) provides denser token-level supervision, but typically treats heterogeneous agent trajectories as monolithic strings rather than causal interaction units. We present StepOPSD, a post-rollout preference self-distillation framework that takes the agent step as the unit of credit redistribution. StepOPSD decomposes trajectories into action-centered step segments, rescoring them under hindsight-enriched teacher contexts and converting token-level log-probability gaps into sign-preserving advantage shaping with a normalized per-step credit budget before the GRPO update. Across ALFWorld and Search-QA with Qwen3-1.7B and Qwen2.5-3B-Instruct, StepOPSD attains best or second-best results on subsets most sensitive to local causal errors, including first-place performance on ALFWorld Heat (79.1%), PickTwo (95.0%), Search-QA TriviaQA (61.6%), and tied-best performance on HotpotQA (40.4%). The results further reveal a consistent two-knob law: smaller α_clip acts as a broadly stabilizing local trust region, whereas the optimal global mixing strength λ_mix remains task-dependent. These findings suggest that step-aware distillation is most useful when trajectory-level rewards are weakly aligned with the local action that determines downstream success.
• Abstract（参考訳）: マルチターンエージェントの強化学習は、クレジット・アサインメントのミスマッチに悩まされる:報酬はスパースでトラジェクトリレベルであり、成功はしばしばいくつかの地元の決定に影響を及ぼす。 既存のオンライン政策蒸留(OPD)は、より密集したトークンレベルの監督を提供するが、通常、不均一なエージェントの軌跡を因果的相互作用単位ではなくモノリシック文字列として扱う。 本稿では,ロールアウト後の自己蒸留フレームワークであるStepOPSDについて紹介する。 StepOPSDは、トラジェクトリをアクション中心のステップセグメントに分解し、後向きの教師コンテキスト下でそれらを再構成し、トークンレベルのログ確率ギャップを、GRPO更新の前に正規化されたステップ単位のクレジット予算で、サイン保存可能なアドバンテージ整形に変換する。 Qwen3-1.7B と Qwen2.5-3B による ALFWorld と Search-QA 全体では、StepOPSD は ALFWorld Heat (79.1%)、PickTwo (95.0%)、Search-QA TriviaQA (61.6%)、HotpotQA (40.4%) などの局所因果誤差に最も敏感なサブセットに対して、最高の、または第二のベストな結果を得た。 より小さいα_clipは広く安定化された局所信頼領域として作用するが、最適な大域混合強度 λ_mix はタスク依存のままである。 これらの結果から, 軌道レベルの報酬が下流の成功を決定づける局所的な行動と弱く一致している場合, ステップアウェア蒸留が最も有用であることが示唆された。

関連論文リスト

• Granularity-Adaptive Credit Assignment for Long-Horizon LLM Agent Reinforcement Learning [7.885980895039013]
  我々は、正しい解決法は国家に依存していると論じ、不確実性に基づく臨界性プロキシに従って粒度が続く批判のない推定器であるGACAを提案する。 GACAは、自己のロールアウトがすでに記録している負のログライクな記録によって各ステップをスコアし、そのスコアで成長するステップ毎の重みと2つのアドバンテージをブレンドする。 ALFWorldとWebShopでは、GACAはGRPOとGiGPOよりも1.5Bと7Bのスケールでタスクの成功を改善する。
  論文  参考訳（メタデータ） (2026-09-11T04:19:44Z)
• MileGPO: Milestone Inference with Local Evidence for Graph-Based Policy Optimization of Long-Horizon LLM Agents [26.262385802144323]
  プロセスレベルの信用を3つの設計を通じてグループ化されたオン・ポリティクス・ロールアウトから導き出すMileGPOを提案する。 MileGPOは補助モデルも追加の環境相互作用も必要としない。
  論文  参考訳（メタデータ） (2026-08-20T08:58:27Z)
• TRCA: Transition-wise Rubric Credit Assignment for Long-horizon LLM Agents [22.01777615106231]
  Long-Horizon Large Language Model (LLM) エージェントは通常、スパース終端結果に最適化される。 本稿では、ステップレベルの監督を行動誘発遷移から直接引き出すトランジッションワイド・クレジット・アサインメントを提案する。 ALFWorld、WebShop、および7つの検索拡張された質問回答ベンチマークの実験は、評価されたベースラインよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-08-17T06:19:12Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• ARCO: Adaptive Rubric with Co-Evolution for Multi-Step LLM-Based Agents [12.091072999307622]
  ARCOは強化学習のための適応型ルーリックフレームワークである。 強い結果、ルーブリック、プロセス・リワードのベースラインよりも、すべての設定で最高のEMを改善する。 そのルーブリックは、ステップ特異的で、設計上の選択に対して堅牢であり、エージェントの挙動の診断に有用である。
  論文  参考訳（メタデータ） (2026-06-19T09:38:02Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• PAIR: Prefix-Aware Internal Reward Model for Multi-Turn Agent Optimization [20.910779784518798]
  グループ相対的政策最適化(GRPO)は、主要な選択肢として浮上しているが、緩やかな成果報酬への依存は、中間段階にわたる信用割当を著しく制限している。 そこで本研究では,凍結型隠れ状態プローブを用いた2段階モデルを提案する。 実験の結果, PAIRは汚染された軌道上では最も高いAUROCを達成でき, 予測コストは無視できることがわかった。
  論文  参考訳（メタデータ） (2026-05-18T05:39:30Z)
• PiCA: Pivot-Based Credit Assignment for Search Agentic Reinforcement Learning [11.926589875842359]
  大言語モデル(LLM)に基づく検索エージェントは,知識集約型タスクの性能を大幅に向上させた。 既存の手法は、長期信用割り当てにおいて重要な課題に直面する。 累積探索の逐次過程として探索軌道を再構成するPivot-Based Credit Assignment (PiCA)を提案する。
  論文  参考訳（メタデータ） (2026-05-10T03:21:47Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Verified Critical Step Optimization for LLM Agents [67.05296684575445]
  クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。 メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。 GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
  論文  参考訳（メタデータ） (2026-02-03T11:41:02Z)
• Prune-Then-Plan: Step-Level Calibration for Stable Frontier Exploration in Embodied Question Answering [52.69447404069251]
  大規模視覚言語モデル(VLM)は、オープン語彙推論のための強力なセマンティック先行情報を提供することにより、EQAエージェントの改良を行った。 ステップレベルキャリブレーションによる探索を安定化するフレームワークPrune-Then-Planを提案する。
  論文  参考訳（メタデータ） (2025-11-24T22:50:50Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。