論文の概要: Before the Next Rollout: Diagnosing Skill Utility Shifts from Policy Updates

• arxiv url: http://arxiv.org/abs/2610.39358v1
• Date: Thu, 29 Oct 2026 04:50:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.041057
• Title: Before the Next Rollout: Diagnosing Skill Utility Shifts from Policy Updates
• Title（参考訳）: 次回のロールアウト前: スキルの実用性はポリシー更新から移行する
• Abstract要約: 政策更新信号がスキル限界効用の変化に関する予測情報を含むか否かを評価する。 本実験は,政策更新がスキル限界効用を変化させる可能性を示し,政策更新読出は実用性低下を伴うスキルの識別のための診断情報を伝達することを示した。
• 参考スコア（独自算出の注目度）: 13.023748125317745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Skill-evolution methods typically analyze execution trajectories to guide agent skill refinement. However, policy updates can change the behavioral effects and marginal utility of an unchanged skill. Attribution based on earlier trajectories may therefore no longer reflect the skill's contribution under the updated policy. Moreover, trajectory failures can arise from multiple factors, making individual skill contributions difficult to isolate. We evaluate whether policy-update signals contain predictive information about changes in skill marginal utility. At fixed contexts from pre-update training rollouts, we measure how policy updates change the contrast in token preferences between skill and control conditions. Combining these interaction shifts with advantage estimates yields reward-directed readouts for diagnosing utility changes. The readouts reuse existing training rollouts and require only forward passes for single-step action scoring, without additional post-update rollout evaluation. Our experiments show that policy updates can alter skill marginal utility and that policy-update readouts carry diagnostic information for identifying skills with declining utility. Integrating readout-guided prioritization into skill evolution improves downstream performance while reducing policy and editor token consumption.
• Abstract（参考訳）: スキル進化法は典型的には、実行軌跡を分析してエージェントスキルの洗練を導く。 しかし、ポリシー更新は、変化のないスキルの行動効果と限界効用を変える可能性がある。 したがって、以前の軌道に基づく属性は、更新されたポリシーの下でのスキルの貢献を反映しない可能性がある。 さらに、軌道上の障害は複数の要因から生じ、個々のスキル貢献を分離することが困難になる。 政策更新信号がスキル限界効用の変化に関する予測情報を含むか否かを評価する。 事前のトレーニングロールアウトから固定されたコンテキストにおいて、ポリシ更新が、スキルと制御条件の間のトークンの嗜好のコントラストをどのように変化させるかを測定する。 これらの相互作用シフトと有利な見積を組み合わせることで、ユーティリティの変更を診断するための報酬指向の読み出しが得られます。 リードアウトは既存のトレーニングロールアウトを再利用し、追加の更新後のロールアウト評価なしで、シングルステップアクションスコアのフォワードパスのみを必要とする。 本実験は,政策更新がスキル限界効用を変化させる可能性を示し,政策更新読出は実用性低下を伴うスキルの識別のための診断情報を伝達することを示した。 リードアウト誘導型優先順位付けをスキル進化に統合することで、ポリシーとエディタトークンの消費を減らしながら、下流のパフォーマンスが向上する。

関連論文リスト

• Experience Funnel: A State-Policy Alternating Loop for Self-Evolving Agents [25.199723630529004]
  明示的なテキスト状態は、高速で可読で編集可能な適応を提供するが、外部のコンテキストに永続的な依存をもたらす。 textitExperience Funnelは、迅速な状態適応と遅いポリシー統合を結合する自己進化型フレームワークである。 実験により、textitExperience Funnelは、状態のみの進化とポリシーのインターナライゼーションアプローチよりも、エージェント能力を一貫して改善していることが示された。
  論文  参考訳（メタデータ） (2026-09-08T15:48:11Z)
• AUSO: Action-Level Unified Skill Optimization from Internalization to Utilization [23.057686255420546]
  AUSOは、プログレッシブでアクション対応の最適化プロセスを通じて、スキル学習とスキル利用を実現する。 AUSOはトレーニングの開始時に、教師の指導と環境結果から共同で学習する。 政策が成熟するにつれて、AUSOはスキル条件とスキルフリーの両方の状況下で各サンプルアクションを評価する。
  論文  参考訳（メタデータ） (2026-08-21T16:53:27Z)
• PATS: Policy-Aware Training Scaffolding for Agentic Reinforcement Learning [8.197606162420145]
  ダイナミックトレーニングの足場としてスキルを再構築する,ポリシ中心のトレーニングパラダイムを提案する。 当社のフレームワークPATSは,最新のポリシーからエビデンスカードにロールアウトグループを変換し,タスク固有の評価を用いて,その後のロールアウトで使用されるコンテキストを調整する。
  論文  参考訳（メタデータ） (2026-07-23T15:24:35Z)
• SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
  SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。 行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。 Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
  論文  参考訳（メタデータ） (2026-06-12T08:20:09Z)
• Co-Evolving Skill Generation and Policy Optimization [35.41582114275514]
  既存の手法は通常、強力な言語モデルを使用してトラジェクトリを分析し、スキルを生成し、オンライントレーニング中に検索可能なスキルバンクを更新します。 プレストレージスキル検証のためのオンライン強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-07T17:55:55Z)
• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)
• Online Feature Updates Improve Online (Generalized) Label Shift Adaptation [51.328801874640675]
  オンライン特徴更新を用いたオンラインラベルシフト適応法(OLS-OFU)は,自己教師付き学習を利用して特徴抽出プロセスを洗練する。 アルゴリズムを慎重に設計することで、OLS-OFUは改善された特徴を考慮しつつ、文献の結果に類似したオンライン後悔の収束を維持している。
  論文  参考訳（メタデータ） (2024-02-05T22:03:25Z)
• IOB: Integrating Optimization Transfer and Behavior Transfer for Multi-Policy Reuse [50.90781542323258]
  強化学習(RL)エージェントは、ソースポリシーからの知識を関連する目標タスクに転送することができる。 従来手法では,階層的なポリシやソースポリシの値関数の見積など,新たなコンポーネントが導入されていた。 本稿では,余分なコンポーネントを訓練せずにソースポリシーを選択する新しい転送RL法を提案する。
  論文  参考訳（メタデータ） (2023-08-14T09:22:35Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。