論文の概要: MDSKILL: Learning to Internalize Skill Memory through Multi-View Distillation for Efficient Dynamic Agent Self-Evolution

• arxiv url: http://arxiv.org/abs/2611.05313v1
• Date: Tue, 03 Nov 2026 18:19:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 12:59:30.382956
• Title: MDSKILL: Learning to Internalize Skill Memory through Multi-View Distillation for Efficient Dynamic Agent Self-Evolution
• Title（参考訳）: MDSKILL: 効率的な動的エージェント自己進化のための多視点蒸留によるスキルメモリの内部化学習
• Abstract要約: MDSKILLは、スキルメモリの内在化のための多視点蒸留手法である。 我々はMDSKILLをRL, スキル強化, 自己蒸留ベースラインに対して3つのベンチマークで評価した。
• 参考スコア（独自算出の注目度）: 37.33512760470278
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Skill memories encode past experiences as textual prompts to improve reinforcement learning (RL) for self-evolving agents. Complementing RL, On-Policy Self-Distillation (OPSD) provides dense, fine-grained supervision to internalize knowledge from skill-guided trajectories and accelerate policy learning. However, self-generated memories often contain noisy supervision and functionally entangled, redundant, or conflicting knowledge, making direct distillation difficult. Under limited training budgets, these issues can hinder knowledge internalization and even degrade performance. To address this problem, we propose MDSKILL, a multi-view distillation approach for skill memory internalization. MDSKILL organizes skill memories into three complementary functional views (state grounding, action planning, and execution control) and selects high-quality skills using dynamic metrics to construct view-specific and integrated reasoning branches. OPSD then transfers and consolidates complementary experiential knowledge across these branches into a shared policy, enabling efficient skill internalization and continuous agent self-evolution. We evaluate MDSKILL on three agent benchmarks against RL, skill-augmented, and self-distillation baselines that do not rely on stronger external teacher models. Without additional computational overhead, MDSKILL improves upon SOTA performance by up to 7.1% and 8.1% on ALFWorld and WebShop. Extensive ablations and evolution analyses further validate its effectiveness in knowledge internalization and policy improvement. The code is available at https://anonymous.4open.science/r/MDSKILL-CF53.
• Abstract（参考訳）: スキル記憶は、過去の経験をテキストのプロンプトとしてエンコードし、自己進化エージェントのための強化学習(RL)を改善する。 RL を補完する On-Policy Self-Distillation (OPSD) は、高度できめ細かな監督を提供し、スキル誘導された軌道からの知識を内包し、政策学習を加速する。 しかし、自己生成記憶は、しばしばノイズの多い監督と機能的に絡み合った、冗長な、あるいは矛盾する知識を含んでおり、直接蒸留を困難にしている。 限られた訓練予算の下では、これらの問題は知識の内部化を妨げ、パフォーマンスを低下させる。 この問題に対処するため,我々は,スキルメモリ内部化のための多視点蒸留手法であるMDSKILLを提案する。 MDSKILLは、スキルメモリを3つの補完的機能ビュー(状態グラウンド、アクションプランニング、実行制御)に整理し、動的メトリクスを使用して高品質なスキルを選択して、ビュー固有の統合推論ブランチを構築する。 OPSDはその後、これらの分野にまたがる補完的な経験的知識を共有ポリシーに移行して統合し、効率的なスキル内部化と継続的エージェントの自己進化を可能にする。 我々は,より強力な外部教師モデルに依存しないRL,スキル強化,自己蒸留ベースラインに対して,MDSKILLを3つのエージェントベンチマークで評価した。 MDSKILLは計算オーバーヘッドを増すことなく、ALFWorldとWebShopで最大7.1%、最大8.1%のSOTA性能を改善する。 広範囲にわたる改善と進化の分析は、知識の内在化と政策改善におけるその効果をさらに検証する。 コードはhttps://anonymous.4open.science/r/MDSKILL-CF53で公開されている。

関連論文リスト

• Bidirectional Context Self-Distillation for Reinforcement Learning of Skill-Based LLM Agents [11.967142343676171]
  自己蒸留と強化学習を組み合わせたBCSD(Bi Context Self-Distillation)を提案する。 ALFWorldとWebShopの実験では、BCSDがモデルスケール全体で最高の全体的なパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2026-08-10T12:53:06Z)
• UCOB: Learning to Utilize and Evolve Agentic Skills via Credit-Aware On-Policy Bidirectional Self-Distillation [34.96538778716135]
  UCOBは、クレジット・アウェア・オン・ポリティクスの双方向自己蒸留によるエージェントスキルの活用と進化を学習するためのフレームワークである。 UCOBは、スキル条件付きプロンプトと非スキルプロンプトを、同じモデルの2つのオンラインコンテキストビューとして扱う。 便利なスキル条件の動作を内部化し、誤解を招くスキルの使用を訂正し、タスク/状態スキルのメモリ更新をガイドする。
  論文  参考訳（メタデータ） (2026-06-28T17:02:18Z)
• Dynamic Mixture of Latent Memories for Self-Evolving Agents [57.20419419302731]
  MoLEMは、動的混合(MoE)に基づく潜在メモリフレームワークの生成混合物である。 我々は、数学、科学、コードドメインにまたがる連続的な学習シーケンスに基づいて、このフレームワークを訓練する。 連続学習を完了した後、Vanilla事前学習ベースラインよりも平均精度を10.40%向上させる。
  論文  参考訳（メタデータ） (2026-05-21T03:35:10Z)
• SkillOS: Learning Skill Curation for Self-Evolving Agents [67.94374107466957]
  本稿では,自己進化エージェントのスキルキュレーションを学習するための,経験駆動型RLトレーニングレシピであるSkillOSを提案する。 SkillOSは、凍結したエージェントエグゼキュータとトレーニング可能なスキルキュレーターを組み合わせて、蓄積したエクスペリエンスから外部SkillRepoを更新する。 SkillOSは、メモリフリーと強力なメモリベースラインを、有効性と効率の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-07T17:31:50Z)
• Skill-SD: Skill-Conditioned Self-Distillation for Multi-turn LLM Agents [24.99615788156812]
  Skill-SDはエージェント自身の軌道を動的トレーニングのみの監視に変換するフレームワークである。 我々は, 重み付き逆KL損失を導出し, 勾配補正型トークンレベルの蒸留を行った。 エージェントベンチマークの実験結果は、Skill-SDが標準RLベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-04-12T14:57:52Z)
• SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization [61.37478254738943]
  推論時のスキル向上は基本的に制限されている。 SKILL0は,スキル内部化のためのコンテキスト内強化学習フレームワークである。 SKILL0は標準のRLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-04-02T17:03:05Z)
• SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning [83.98129545309277]
  生経験と政策改善のギャップを埋めるフレームワークであるSkillRLを提案する。 本手法では,階層型スキルライブラリであるSkillBankを構築するために,経験に基づく蒸留機構を導入する。 ALF、WebShop、および7つの検索強化タスクの実験結果は、SkillRLが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2026-02-09T03:17:17Z)
• Building Self-Evolving Agents via Experience-Driven Lifelong Learning: A Framework and Benchmark [57.59000694149105]
  本稿では、自己進化エージェントを構築するためのフレームワークである、経験駆動型生涯学習(ELL)を紹介する。 ELLは、Experience Exploration、Long-term Memory、Skill Learning、Knowledge Internalizationの4つのコア原則に基づいて構築されている。 また、学生の総合的な大学旅行をシミュレートするELLのベンチマークデータセットであるStuLifeを紹介した。
  論文  参考訳（メタデータ） (2025-08-26T13:04:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。