論文の概要: SCOPE: Selective Critical-Step On-Policy Self-Distillation for Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.38391v1
• Date: Wed, 28 Oct 2026 07:29:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.967435
• Title: SCOPE: Selective Critical-Step On-Policy Self-Distillation for Agentic Reinforcement Learning
• Title（参考訳）: SCOPE: エージェント強化学習のための選択的クリティカルステップオンステップ自己蒸留
• Abstract要約: SCOPEは、選択的臨界段階の自己蒸留のためのフレームワークである。 ポリシーは、独自の軌跡を分析し、ステップ固有の後見スキルを生成し、選択されたエラーステップでのみガイダンスを蒸留する。 ALFWorldとWebShopの実験は、複数のモデルバックボーンで一貫した改善を示している。
• 参考スコア（独自算出の注目度）: 20.883045033119654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Outcome-based reinforcement learning provides coarse supervision for long-horizon LLM agents: failed trajectories may contain correct steps, while successful trajectories can contain errors. Trajectory-level skills can also shift teacher preferences at unrelated steps, introducing off-target distillation signals. We introduce SCOPE, a framework for Selective Critical-Step On-Policy Self-Distillation. After a supervised warm-up, the policy analyzes its own trajectories, generates step-specific hindsight skills, and distills their guidance only at selected error steps. A bounded signed teacher-student coefficient stabilizes auxiliary updates while preserving positive reinforcement and negative correction. A success-relative pairwise length reward further encourages efficient task completion. Experiments on ALFWorld and WebShop demonstrate consistent improvements across multiple model backbones. With Qwen2.5-3B, SCOPE achieves 97.7% success on ALFWorld and 85.2% on WebShop, outperforming SEED by 5.9 and 6.3 percentage points, respectively. On unseen ALFWorld tasks, SCOPE reaches 89.6% success, improving over GRPO by 23.2 percentage points with 46.7% fewer interactions. Scaling to Qwen3-32B, SCOPE achieves 99.2% success on seen ALFWorld tasks and 94.0% on unseen tasks.
• Abstract（参考訳）: アウトカムベースの強化学習は、長い水平LLMエージェントに対して粗い監視を提供する:失敗した軌道は正しいステップを含むが、成功した軌道はエラーを含むことができる。 軌道レベルのスキルは教師の好みを無関係に変化させ、ターゲット外の蒸留信号を導入することもできる。 SCOPE(Selective Critical-Step On-Policy Self-Distillation)を紹介する。 監視されたウォームアップの後、ポリシーは独自の軌跡を分析し、ステップ固有の後見スキルを生成し、選択されたエラーステップでのみガイダンスを蒸留する。 有界符号付き教師学生係数は、正の強化と負の補正を保ちながら補助更新を安定化する。 成功相対対長報酬は、さらに効率的なタスク完了を促す。 ALFWorldとWebShopの実験は、複数のモデルバックボーンで一貫した改善を示している。 Qwen2.5-3B では、SCOPE は ALFWorld で97.7%、WebShop で85.2%、SEED では5.9 と 6.3 でそれぞれ上回っている。 未確認のALFWorldタスクでは、SCOPEは89.6%成功し、GRPOよりも23.2%向上し、インタラクションは46.7%減少した。 Qwen3-32Bにスケールすると、SCOPEは見たALFWorldタスクで99.2%、見えないタスクで94.0%成功している。

関連論文リスト

• Robota-Embed: Unified VLA Embeddings for Robot In-Context Learning and Evolution [90.448613284096]
  ロボット・エンベッド(Robota-Embed)を導入し、現在のクエリと記録された将来の継続の両方において、3つのモダリティを共同で符号化する最初の視覚言語アクション埋め込みモデルについて紹介する。 我々は,1,695,684個のトレーニングアンカーを複数ソースで構築し,4000のクエリと8000のギャラリーの共有を備えたRobota-Embed-Benchを紹介した。 Robota-Embedは47.33%のクリップレベルと81.77%のエピソードレベルのR@1を達成した。
  論文  参考訳（メタデータ） (2026-10-14T03:15:23Z)
• LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts [56.21252928632393]
  LoopWAMは、現実世界のロールアウトから直接学習するクローズドループの世界アクションモデルである。 音源依存ノイズサンプリングは行動学習と行動条件付き世界モデリングを統合する。 ビデオトークンとアクショントークンは並列denoisingを通じて相互作用し、学習結果がアクション生成を直接通知する。
  論文  参考訳（メタデータ） (2026-10-13T17:59:56Z)
• TACIT-Switch: Cost-Aware Model Escalation for LLM Agents from Censored Supervision [2.681967953218225]
  より小さな言語モデルバックボーンを持つエージェントは永続的な障害モードにドリフトできるが、より大きなバックボーンを持つエージェントは一般的により信頼性が高いがよりコストがかかる。 この信頼性の高いトレードオフは、より大きなバックボーンを持つエージェントをいつ呼び出すかを決定するルーティングメソッドを動機付けます。 提案手法であるTACIT-SWITCHは,蓄積された軌跡の証拠から永久的ハンドオフポリシーを学習する。
  論文  参考訳（メタデータ） (2026-08-28T04:33:11Z)
• StepOPSD: Step-Aware Online Preference Distillation for Agent Reinforcement Learning [6.365332042924078]
  本稿では,ロールアウト後の自己蒸留フレームワークであるStepOPSDについて紹介する。 StepOPSDは、軌跡をアクション中心のステップセグメントに分解し、後見豊かな教師コンテキスト下でそれらを再構成する。 より小さい_clipは広範囲に安定化された局所信頼領域として作用するが、最適な大域混合強度_mixはタスク依存のままである。
  論文  参考訳（メタデータ） (2026-05-26T15:07:03Z)
• Milestone-Guided Policy Learning for Long-Horizon Language Agents [67.87164829944238]
  我々は,長軸言語エージェントを訓練するためのマイルストーン誘導型政策学習フレームワークBEACONを紹介する。 ALFWorld、WebShop、ScienceWorldでは、BEACONはGRPOとGiGPOを一貫して上回っている。 これらの結果から,長期言語エージェントの訓練に有効なパラダイムとして,マイルストーン・アチョンド・クレジット・アサインが確立された。
  論文  参考訳（メタデータ） (2026-05-07T12:00:40Z)
• Multi-Turn Reinforcement Learning for Tool-Calling Agents with Iterative Reward Calibration [0.0]
  マルチターンタスクにおける強化学習を伴う訓練ツール呼び出しエージェントは依然として困難である。 本稿では,MT-GRPO と GTPO を用いて,現実的なカスタマーサービスタスクにおけるツールコールエージェントのトレーニングを行う。
  論文  参考訳（メタデータ） (2026-04-03T08:36:03Z)
• AOI: Turning Failed Trajectories into Training Signals for Autonomous Cloud Diagnosis [19.899469614370478]
  大規模言語モデル(LLM)エージェントは、SRE(Site Reliability Engineering)を自動化するための有望なデータ駆動型アプローチを提供する 本稿では,セキュリティ制約下での構造化軌道学習問題として,自動操作を定式化したトレーニング可能なマルチエージェントフレームワークAOIを提案する。
  論文  参考訳（メタデータ） (2026-03-03T02:57:33Z)
• Exploring Expert Failures Improves LLM Agent Tuning [74.0772570556016]
  本稿では,失敗した専門家の軌道から有益な行動を識別する専門的失敗の探索(EEF)を提案する。 EEFは、未解決のいくつかのサブタスクをうまく解決し、エージェントチューニング性能を改善する。
  論文  参考訳（メタデータ） (2025-04-17T17:53:54Z)
• Making Every Step Effective: Jailbreaking Large Vision-Language Models Through Hierarchical KV Equalization [74.78433600288776]
  HKVE (Hierarchical Key-Value Equalization) は、勾配最適化結果を選択的に受け入れる革新的なジェイルブレイクフレームワークである。 HKVEは既存の手法を20.43%,21.01%,26.43%のマージンで大幅に上回った。
  論文  参考訳（メタデータ） (2025-03-14T17:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。