論文の概要: AUSO: Action-Level Unified Skill Optimization from Internalization to Utilization

• arxiv url: http://arxiv.org/abs/2608.21292v1
• Date: Fri, 21 Aug 2026 16:53:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.642594
• Title: AUSO: Action-Level Unified Skill Optimization from Internalization to Utilization
• Title（参考訳）: AUSO: 内部化から活用へのアクションレベル統一スキル最適化
• Abstract要約: AUSOは、プログレッシブでアクション対応の最適化プロセスを通じて、スキル学習とスキル利用を実現する。 AUSOはトレーニングの開始時に、教師の指導と環境結果から共同で学習する。 政策が成熟するにつれて、AUSOはスキル条件とスキルフリーの両方の状況下で各サンプルアクションを評価する。
• 参考スコア（独自算出の注目度）: 23.057686255420546
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Skills play different roles as an agent's policy evolves: they should first provide learnable knowledge, then support capability formation, and finally be invoked only when they improve individual decisions. Existing methods rarely model this lifecycle. They either keep skills outside the model, fully internalize them, or select among internalization and utilization objectives through noisy task-level success rates. Such designs fragment training and assign uniform importance to actions within the same trajectory, even though skill guidance may help some decisions while distracting others. To solve these problems, we introduce AUSO (Action-level Unified Skill Optimization), which unifies skill learning and skill use through a progressive, action-aware optimization process. At the beginning of training, AUSO jointly learns from teacher guidance and environmental outcomes, enabling the policy to acquire foundational skills without losing task-oriented feedback. It subsequently emphasizes outcome-based policy optimization to consolidate autonomous problem-solving ability. As the policy matures, AUSO evaluates each sampled action under both skill-conditioned and skill-free contexts. The resulting action-level information signal is coupled with the trajectory outcome advantage, allowing beneficial skill-sensitive actions to receive stronger updates and harmful ones to be suppressed. Therefore, skills gradually transition from an external source of supervision into decision knowledge whose utilization is adapted to its action-level benefit, while reinforcement learning remains the shared backbone across all stages. Experiments on ALFWorld, WebShop, and SearchQA show that AUSO consistently improves agent performance and out-of-distribution generalization over competitive baselines.
• Abstract（参考訳）: エージェントのポリシーが進化するにつれて、スキルは異なる役割を演じる: まずは学習可能な知識を提供し、次に能力の形成をサポートし、最後に個々の決定を改善するときにのみ呼び出される。 既存のメソッドはこのライフサイクルをめったにモデル化しない。 彼らは、モデルを外部に保持するか、完全に内部化するか、あるいはノイズの多いタスクレベルの成功率によって、内部化と活用の目標を選択するかのどちらかです。 このような設計は断片的な訓練を行い、同じ軌道内の行動に一様の重要性を割り当てる。 これらの問題を解決するために、AUSO(Action-level Unified Skill Optimization)を導入し、プログレッシブでアクション対応の最適化プロセスを通じてスキル学習とスキル利用を統合する。 訓練開始時,AUSOは教師指導と環境成果から共同で学び,タスク指向のフィードバックを失うことなく基本的スキルを習得する。 その後、自律的な問題解決能力を統合するために、結果に基づく政策最適化を強調した。 政策が成熟するにつれて、AUSOはスキル条件とスキルフリーの両方の状況下で各サンプルアクションを評価する。 結果として得られるアクションレベル情報信号は、軌道結果の利点と結合され、有能なスキルセンシティブなアクションがより強力な更新を受け、有害なアクションが抑制される。 したがって、スキルは、外部の監督源から、その活動レベルに適合した活用能力を持つ決定知識へと徐々に移行し、強化学習は、すべての段階にわたって共有バックボーンのままである。 ALFWorld、WebShop、SearchQAの実験では、AUSOは一貫してエージェントのパフォーマンスを改善し、競争ベースラインよりもアウト・オブ・ディストリビューションの一般化を実現している。

関連論文リスト

• Latent On-Policy Self-Distillation [55.57800223145407]
  On-policy Self-distillation (OPSD) は、特権的な自己教育者を用いて、生徒自身の軌跡を集中的に管理することにより、効果的な経路を提供する。 既存の方法はまだデザイナーが指定した特権的アーティファクトに大きく依存している。 本稿では,教師の特権的文脈自体を経験から学習可能なエンド・ツー・エンドにするため,LOPD(Latent On-Policy Self-Distillation)を導入する。
  論文  参考訳（メタデータ） (2026-08-13T10:05:51Z)
• Bidirectional Context Self-Distillation for Reinforcement Learning of Skill-Based LLM Agents [11.967142343676171]
  自己蒸留と強化学習を組み合わせたBCSD(Bi Context Self-Distillation)を提案する。 ALFWorldとWebShopの実験では、BCSDがモデルスケール全体で最高の全体的なパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2026-08-10T12:53:06Z)
• Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills [53.15216425100295]
  本稿では,提案者,解決者,スキルコントローラからなる共進化型フレームワークであるスキルセルフプレイ(スキルSP)を紹介する。 プロジェクタは動的にサンプリングされたスキルを前提とした挑戦的なタスクを生成し、ソルバは能力境界を押し上げるための候補ソリューションを探索し、スキルコントローラは実行フィードバックを収集してスキルライブラリを更新および拡張する。 このインタラクティブな共進化は、構造化された検証とオープンな調査の間のギャップを効果的に埋める。
  論文  参考訳（メタデータ） (2026-07-24T17:59:22Z)
• OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning [38.54413500261524]
  オンデマンドの自己蒸留は、密集したトークンレベルの監督を提供する。 textbfOPID (textbfOn-textbfPolicy Sktextbfill textbfDistillation) は、軌道上で完了したスキル管理を直接抽出するフレームワークである。
  論文  参考訳（メタデータ） (2026-06-25T09:24:09Z)
• Skill0.5: Joint Skill Internalization and Utilization for Out-of-Distribution Generalization in Agentic Reinforcement Learning [25.966432263031397]
  Skill0.5は、一般的なスキル内部化とタスク固有のスキル利用を組み合わせることで、スキル処理を明確に区別する新しいエージェントRLフレームワークである。 特典蒸留によって一般的なスキルを内包し、ハードタスクの認知基盤を構築すると同時に、ショートカットをペナルティ化し、特定のスキル利用を強制するための簡単なタスクを診断する。 ALFWorldとWebShopの実験では、Skill0.5はメモリベースのRLベースラインとスキルベースのRLベースラインの両方を上回っている。
  論文  参考訳（メタデータ） (2026-05-27T12:54:33Z)
• SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment [4.336665585098371]
  本稿では,このコントラストを内部化のための直接学習信号に変換するContrastive Skill Credit Assignment (CSCA) に基づくフレームワークであるSkillCを提案する。 textscSkillCは、同じポリシー更新内でアクティブなスキルタイプからのタスクに対して、ペア化されたスキル注入とスキルフリーのロールアウトをサンプリングする。 スムーズな検証レベル信号は、帰属強度、ロールアウトアロケーション、単調なアクティブセットプルーニングよりも適応的なカリキュラムを駆動する。
  論文  参考訳（メタデータ） (2026-05-27T03:21:19Z)
• Harnessing LLM Agents with Skill Programs [58.356514745548026]
  HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。 PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。 HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
  論文  参考訳（メタデータ） (2026-05-18T01:35:11Z)
• Dynamic Skill Lifecycle Management for Agentic Reinforcement Learning [11.76119198695392]
  大規模な言語モデルエージェントは、複雑なタスクを解決するために、ますます外部スキルに依存している。 既存の手法では、外部スキルは永続的なガイダンスとして蓄積するか、ポリシーに内部化され、ゼロスキル推論につながると仮定している。 パラメトリック能力の制限とスキル間の不均一な限界貢献により、最適なアクティブスキルセットは非モノトニック、タスク、ステージ依存である。
  論文  参考訳（メタデータ） (2026-05-11T17:55:13Z)
• Skill-R1: Agent Skill Evolution via Reinforcement Learning [84.35984979949502]
  Skill-R1は、検証可能な報酬からインスタンスレベルの繰り返しスキル最適化のための強化学習フレームワークである。 オープンソースモデルとクローズドソースモデルの両方とのブラックボックス互換性を維持しつつ、モデルレベルの更新よりも大幅に安価に適応できる。
  論文  参考訳（メタデータ） (2026-05-10T06:19:15Z)
• SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization [61.37478254738943]
  推論時のスキル向上は基本的に制限されている。 SKILL0は,スキル内部化のためのコンテキスト内強化学習フレームワークである。 SKILL0は標準のRLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-04-02T17:03:05Z)
• Self-Improving Skill Learning for Robust Skill-based Meta-Reinforcement Learning [6.959686714606018]
  SISL(Self-Improving Skill Learning)は、ハイレベルなスキル改善ポリシーを分離して自己指導型スキル改善を行う。 SISLは様々なロングホライゾンタスクにおいて、他のスキルベースのメタRLメソッドよりも一貫して優れている。
  論文  参考訳（メタデータ） (2025-02-06T03:28:45Z)
• Rethinking Learning Dynamics in RL using Adversarial Networks [79.56118674435844]
  本稿では,スキル埋め込み空間を通じてパラメータ化された,密接に関連するスキルの強化学習のための学習機構を提案する。 本研究の主な貢献は、エントロピー規則化政策勾配定式化の助けを借りて、強化学習のための敵の訓練体制を定式化することである。
  論文  参考訳（メタデータ） (2022-01-27T19:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。