論文の概要: DSD: Learning Diverse and Reusable Motor Skills via Diffusion Skill Discovery

• arxiv url: http://arxiv.org/abs/2609.17682v1
• Date: Tue, 15 Sep 2026 18:01:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.48711
• Title: DSD: Learning Diverse and Reusable Motor Skills via Diffusion Skill Discovery
• Title（参考訳）: DSD:拡散スキル発見による多変量・再使用可能なモータースキルの学習
• Abstract要約: 人間は、さまざまな目標や状況にまたがる運動スキルの豊富なレパートリーを再利用することで、新しいタスクを効率的に学習する。 同様の戦略は、シミュレートされたキャラクタが再利用可能なモータースキルを活用することで、新しいタスクを効率的に実行できるようにするためにも用いられる。 本研究では,拡散モデルを用いて,政策誘起状態分布のエントロピー勾配を近似する技術発見手法である拡散スキルディスカバリー(DSD)を提案する。
• 参考スコア（独自算出の注目度）: 14.760885016905059
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Humans efficiently learn new tasks by reusing a rich repertoire of motor skills across different goals and contexts. A similar strategy can also be used to enable simulated characters to efficiently perform new tasks by leveraging reusable motor skills. To support a wide range of downstream tasks, the learned repertoire should be diverse, consisting of distinct behaviors as well as spatial and temporal variation within each behavior. A commonly used method for learning diverse skills is by maximizing the mutual information between skill latents and the states produced by a policy. The marginal state entropy promotes broad behavioral coverage, while the conditional entropy encourages consistent behaviors from each latent. However, directly estimating the marginal state entropy is intractable in high-dimensional control problems. Prior methods therefore rely on indirect latent-space approximations or coarse estimators of the state distribution. These approximations may not effectively promote broad coverage of the state space, resulting in skills with limited behavioral diversity and reduced utility for downstream tasks. In this work, we propose Diffusion Skill Discovery (DSD), a skill discovery method that uses a diffusion model to approximate the entropy gradient of the policy-induced state distribution through score matching. The resulting objective encourages the discovery of skills that produce a broader range of behaviors for high-dimensional humanoid control. The learned skills are reused in two downstream control settings: hierarchical control with a task-specific high-level policy and zero-shot control through latent selection from offline trajectories. Our experiments show that DSD discovers a broader repertoire of reusable motor skills than prior skill discovery methods, leading to the emergence of complex and agile behaviors that can be reused across downstream tasks.
• Abstract（参考訳）: 人間は、さまざまな目標や状況にまたがる運動スキルの豊富なレパートリーを再利用することで、新しいタスクを効率的に学習する。 同様の戦略は、シミュレートされたキャラクタが再利用可能なモータースキルを活用することで、新しいタスクを効率的に実行できるようにするためにも用いられる。 幅広い下流タスクをサポートするためには、学習されたレパートリーは多様な振る舞いと各行動の空間的・時間的変動から成り立つべきである。 多様なスキルを学ぶための一般的な方法は、スキルラテンダーと政策によって生み出された状態の間の相互情報を最大化することである。 境界状態のエントロピーは幅広い行動カバレッジを促進するが、条件のエントロピーは各潜伏者からの一貫した行動を促進する。 しかし、境界状態のエントロピーを直接推定することは、高次元制御問題では難解である。 したがって、先行手法は状態分布の間接的な潜在空間近似や粗い推定器に依存する。 これらの近似は、状態空間の広範な範囲を効果的に促進しない可能性があり、結果として行動の多様性が制限され、下流タスクの実用性が低下する。 本研究では、拡散モデルを用いて、スコアマッチングによる政策誘起状態分布のエントロピー勾配を近似する技術発見手法である拡散スキル発見(DSD)を提案する。 結果として得られた目的は、高次元ヒューマノイド制御のための幅広い振る舞いを生み出すスキルの発見を促進する。 学習スキルは2つの下流制御設定で再利用される。タスク固有の高レベルポリシーによる階層制御と、オフライン軌道からの潜在選択によるゼロショット制御である。 我々の実験によると、DSDは従来のスキル発見手法よりも、より広範な再利用可能なモータースキルのレパートリーを発見し、下流のタスクで再利用できる複雑でアジャイルな行動の出現につながっている。

関連論文リスト

• Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills [53.15216425100295]
  本稿では,提案者,解決者,スキルコントローラからなる共進化型フレームワークであるスキルセルフプレイ(スキルSP)を紹介する。 プロジェクタは動的にサンプリングされたスキルを前提とした挑戦的なタスクを生成し、ソルバは能力境界を押し上げるための候補ソリューションを探索し、スキルコントローラは実行フィードバックを収集してスキルライブラリを更新および拡張する。 このインタラクティブな共進化は、構造化された検証とオープンな調査の間のギャップを効果的に埋める。
  論文  参考訳（メタデータ） (2026-07-24T17:59:22Z)
• SUSD: Structured Unsupervised Skill Discovery through State Factorization [12.57032768854794]
  教師なしスキル発見(USD)は、外因的な報酬に頼ることなく、多様なスキルセットを自律的に学習することを目的としている。 状態空間を独立成分に分解することで環境の構成構造を利用する新しいフレームワークであるSUSDを紹介する。 SUSDは異なる要因に異なるスキル変数を割り当て、スキル発見プロセスのよりきめ細かい制御を可能にする。
  論文  参考訳（メタデータ） (2026-02-02T04:21:33Z)
• Unsupervised Skill Discovery through Skill Regions Differentiation [6.088346462603191]
  教師なし強化学習(英語: Unsupervised Reinforcement Learning, RL)は、下流タスクの学習を加速できる多様な行動を発見することを目的としている。 本稿では,他のスキルの探索領域からの1つのスキルの状態密度のずれを最大化する新しいスキル発見目標を提案する。 また、学習したオートエンコーダに基づいて、コンパクトな潜在空間におけるカウントベースの探索に類似した本質的な報酬を定式化する。
  論文  参考訳（メタデータ） (2025-06-17T11:30:04Z)
• SkiLD: Unsupervised Skill Discovery Guided by Factor Interactions [48.003320766433966]
  この研究は、ローカル依存(スキルド)からのスキル発見を紹介します。 Skildは、環境内の異なる相互作用を誘発するスキルの習得を明示的に促進する、新しいスキル学習の目標を開発する。 本研究では,現実的なシミュレートされた家庭用ロボットドメインを含む,長期にわたる不利な報酬課題を伴う複数の領域におけるスキルドの評価を行った。
  論文  参考訳（メタデータ） (2024-10-24T04:01:59Z)
• CUDC: A Curiosity-Driven Unsupervised Data Collection Method with Adaptive Temporal Distances for Offline Reinforcement Learning [62.58375643251612]
  本稿では,Curiosity-driven Unsupervised Data Collection (CUDC)法を提案する。 この適応的な到達性機構により、特徴表現は多様化することができ、エージェントは、好奇心で高品質なデータを集めるために自分自身をナビゲートすることができる。 実験的に、CUDCはDeepMindコントロールスイートの様々なダウンストリームオフラインRLタスクにおいて、既存の教師なし手法よりも効率と学習性能が優れている。
  論文  参考訳（メタデータ） (2023-12-19T14:26:23Z)
• SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution [75.2573501625811]
  拡散モデルは、ロボット軌道計画の強力な可能性を示している。 高レベルの命令からコヒーレントな軌道を生成することは依然として困難である。 エンド・ツー・エンドの階層的計画フレームワークであるSkillDiffuserを提案する。
  論文  参考訳（メタデータ） (2023-12-18T18:16:52Z)
• Latent Exploration for Reinforcement Learning [87.42776741119653]
  強化学習では、エージェントは環境を探索し、相互作用することでポリシーを学ぶ。 LATent TIme-Correlated Exploration (Lattice)を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:40:43Z)
• Neuroevolution is a Competitive Alternative to Reinforcement Learning for Skill Discovery [12.586875201983778]
  深層強化学習(Deep Reinforcement Learning, RL)は、複雑な制御タスクを解決するために神経ポリシーをトレーニングするための強力なパラダイムとして登場した。 品質多様性(QD)手法は,スキル発見のための情報理論強化RLの代替手段であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T11:06:39Z)
• Learning Transferable Motor Skills with Hierarchical Latent Mixture Policies [37.09286945259353]
  階層的混合潜時変動モデルを用いて,データから抽象運動スキルを学習する手法を提案する。 提案手法は,オフラインデータを異なる実行動作に効果的にクラスタ化することができることを示す。
  論文  参考訳（メタデータ） (2021-12-09T17:37:14Z)
• Hierarchical Skills for Efficient Exploration [70.62309286348057]
  強化学習において、事前訓練された低レベルスキルは、探索を大幅に促進する可能性がある。 下流タスクの以前の知識は、スキルデザインにおける一般性(きめ細かい制御)と特異性(より高速な学習)の適切なバランスをとるために必要である。 教師なしの方法で様々な複雑さのスキルを習得する階層的スキル学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-20T22:29:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。