論文の概要: Learning Hierarchical Skill Policies with Offline Quality-Diversity Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.19684v1
• Date: Thu, 20 Aug 2026 06:20:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.475259
• Title: Learning Hierarchical Skill Policies with Offline Quality-Diversity Reinforcement Learning
• Title（参考訳）: オフライン品質・多様性強化学習による階層型スキル政策の学習
• Abstract要約: QDOS(Quality-Diversity Offline Skill Learning)は、オフラインからオフラインへの堅牢な学習のための統合パイプラインである。 堅牢でタスク関連のスキル表現を提供することで、QDOSは低レベルポリシーで使用される組み込みスキル空間の品質を大幅に改善する。
• 参考スコア（独自算出の注目度）: 44.603295025494674
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies investigate how to leverage pre-collected datasets to improve the policy performance and sample efficiency of RL. One promising approach to achieve this goal is to employ a two-stage strategy: In the first stage, diverse skills are extracted as a low-level policy from a given dataset, and a high-level policy is trained to solve a specific task in the second stage. Typically, extraction of the low-level policy is performed based on unsupervised learning such as trajectory VAE. However, a limitation of this approach is that the quality of the low-level policy highly depends on the quality of the dataset. To address this issue, we introduce QDOS (Quality-Diversity Offline Skill learning), a unified pipeline for robust offline-to-online learning. Our approach incorporates an Advantage-Weighted Quality-Diversity pretraining objective, which weights the skill extraction and diversity objectives by the estimated advantage of each trajectory segment. This approach allows the model to extract diverse and high-value skills. By providing robust and task-relevant skill representations, QDOS significantly improves the quality of the embedded skill space used by the low-level policy. We further integrate this with a dual dataset reuse strategy, where offline data is used both for skill pretraining and for populating the online replay buffer via pseudo-labeling. Experiments demonstrate that QDOS significantly outperforms strong baselines in structured manipulation tasks and unstructured locomotion tasks, confirming its ability to accelerate exploration and improve final returns in challenging sparse-reward domains.
• Abstract（参考訳）: 近年の研究では、RLのポリシー性能とサンプル効率を改善するために、事前収集したデータセットを活用する方法が研究されている。 第一段階では、与えられたデータセットから低レベルポリシーとして多様なスキルが抽出され、第二段階で特定のタスクを解決するために高レベルポリシーが訓練されます。 通常、低レベルポリシーの抽出は、軌跡VAEのような教師なし学習に基づいて行われる。 しかし、このアプローチの制限は、低レベルのポリシーの品質がデータセットの品質に大きく依存している点である。 この問題に対処するために、堅牢なオフライン対オンライン学習のための統合パイプラインであるQDOS(Quality-Diversity Offline Skill Learning)を導入する。 提案手法は,各トラジェクティブセグメントの利点を推定することにより,スキル抽出と多様性目標の重み付けを行う,Advantage-Weighted Quality-Diversity Pretraining objectiveを組み込んだものである。 このアプローチにより、モデルは多様な、高い価値のスキルを抽出できる。 堅牢でタスク関連のスキル表現を提供することで、QDOSは低レベルポリシーで使用される組み込みスキル空間の品質を大幅に改善する。 オフラインデータは、スキル事前学習と擬似ラベルによるオンライン再生バッファのポップアップの両方に使用される。 実験により、QDOSは構造化操作タスクや非構造化移動タスクにおいて強いベースラインを著しく上回り、探索を加速し、スパース・リワードドメインでの最終的なリターンを改善する能力を確認した。

関連論文リスト

• OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning [38.54413500261524]
  オンデマンドの自己蒸留は、密集したトークンレベルの監督を提供する。 textbfOPID (textbfOn-textbfPolicy Sktextbfill textbfDistillation) は、軌道上で完了したスキル管理を直接抽出するフレームワークである。
  論文  参考訳（メタデータ） (2026-06-25T09:24:09Z)
• Test-time Offline Reinforcement Learning on Goal-related Experience [50.94457794664909]
  基礎モデルの研究では、テストタイムトレーニングによってパフォーマンスが大幅に改善できることが示されている。 本稿では、オフラインデータセットから現在の状態への関連性に応じて遷移を選択する、新しい自己教師型データ選択基準を提案する。 目標条件付きテストタイムトレーニング(GC-TTT)アルゴリズムは、評価中にこのルーチンを後退水平方式で適用し、現在の軌道にポリシーを適用する。
  論文  参考訳（メタデータ） (2025-07-24T21:11:39Z)
• Option-aware Temporally Abstracted Value for Offline Goal-Conditioned Reinforcement Learning [19.341894845618445]
  オフライン目標条件強化学習(GCRL)は、豊富な状態行動軌跡データセットから目標達成ポリシーをトレーニングする実践的な学習パラダイムを提供する。 本稿では、時間差学習プロセスに時間的抽象化を組み込んだOTAと呼ばれる、オプション対応の時間的抽象価値学習を提案する。 我々は、最近提案されたオフラインGCRLベンチマークであるOGBenchから、OTAを用いて学習した高レベルポリシーが、複雑なタスクに対して高い性能を達成することを実験的に示す。
  論文  参考訳（メタデータ） (2025-05-19T05:51:11Z)
• Leveraging Skills from Unlabeled Prior Data for Efficient Online Exploration [54.8229698058649]
  ラベルなしのオフライン軌道データは、効率的な探索戦略を学ぶために利用することができる。 提案手法は,42の長軸,スパース・リワードタスクからなるスイートにおいて,従来戦略よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2024-10-23T17:58:45Z)
• Robust Policy Learning via Offline Skill Diffusion [6.876580618014666]
  本稿では,新しいオフラインスキル学習フレームワークDuSkillを紹介する。 DuSkillはガイド付き拡散モデルを使用して、データセットの限られたスキルから拡張された多目的スキルを生成する。 我々は,DuSkillが複数の長期タスクに対して,他のスキルベースの模倣学習やRLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-01T02:00:44Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• Conservative Q-Learning for Offline Reinforcement Learning [106.05582605650932]
  CQLは既存のオフラインRLメソッドよりも大幅に優れており、多くの場合、ファイナルリターンの2～5倍高いポリシを学習しています。 理論的には、CQLは現在のポリシーの価値の低いバウンダリを生成し、理論的改善保証を伴う政策学習手順に組み込むことができることを示す。
  論文  参考訳（メタデータ） (2020-06-08T17:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。