論文の概要: Goal-Oriented Skill Abstraction for Offline Multi-Task Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2507.06628v1
• Date: Wed, 09 Jul 2025 07:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.514089
• Title: Goal-Oriented Skill Abstraction for Offline Multi-Task Reinforcement Learning
• Title（参考訳）: オフラインマルチタスク強化学習のためのゴール指向スキル抽象化
• Authors: Jinmin He, Kai Li, Yifan Zang, Haobo Fu, Qiang Fu, Junliang Xing, Jian Cheng,
• Abstract要約: GO-Skillは、再利用可能なスキルを抽出し、活用し、知識伝達とタスクパフォーマンスを向上させるために設計された新しいアプローチである。 本稿では,目標志向のスキル抽出プロセスを通じて再利用可能なスキルを明らかにし,ベクトル量子化を活用して個別のスキルライブラリを構築する。 我々はこれらのスキルを階層的な政策学習を用いて統合し、個別のスキルを動的に編成して特定のタスクを遂行するハイレベルなポリシーの構築を可能にする。
• 参考スコア（独自算出の注目度）: 25.18006424626525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Offline multi-task reinforcement learning aims to learn a unified policy capable of solving multiple tasks using only pre-collected task-mixed datasets, without requiring any online interaction with the environment. However, it faces significant challenges in effectively sharing knowledge across tasks. Inspired by the efficient knowledge abstraction observed in human learning, we propose Goal-Oriented Skill Abstraction (GO-Skill), a novel approach designed to extract and utilize reusable skills to enhance knowledge transfer and task performance. Our approach uncovers reusable skills through a goal-oriented skill extraction process and leverages vector quantization to construct a discrete skill library. To mitigate class imbalances between broadly applicable and task-specific skills, we introduce a skill enhancement phase to refine the extracted skills. Furthermore, we integrate these skills using hierarchical policy learning, enabling the construction of a high-level policy that dynamically orchestrates discrete skills to accomplish specific tasks. Extensive experiments on diverse robotic manipulation tasks within the MetaWorld benchmark demonstrate the effectiveness and versatility of GO-Skill.
• Abstract（参考訳）: オフラインマルチタスク強化学習は、環境とのオンラインインタラクションを必要とせずに、事前にコンパイルされたタスク混合データセットのみを使用して複数のタスクを解決できる統一されたポリシーを学習することを目的としている。 しかし、タスク間で知識を効果的に共有する上で、大きな課題に直面しています。 人間の学習で観察される効率的な知識抽象化に着想を得たゴール指向スキル抽象化(GO-Skill)を提案する。 本稿では,目標志向のスキル抽出プロセスを通じて再利用可能なスキルを明らかにし,ベクトル量子化を活用して個別のスキルライブラリを構築する。 広範に適用可能なスキルとタスク固有のスキルのバランスを緩和するために,抽出したスキルを洗練させるために,スキル強化フェーズを導入する。 さらに、これらのスキルを階層的な政策学習を用いて統合し、個別のスキルを動的に編成して特定のタスクを遂行するハイレベルな政策の構築を可能にする。 MetaWorldベンチマークにおける多様なロボット操作タスクに関する大規模な実験は、GOスキルの有効性と汎用性を実証している。

関連論文リスト

• SPECI: Skill Prompts based Hierarchical Continual Imitation Learning for Robot Manipulation [3.1997825444285457]
  動的非構造環境における現実世界のロボット操作は、進化するオブジェクト、シーン、タスクに対して生涯の適応性を必要とする。 伝統的な模倣学習は、生涯適応に不適な静的な訓練パラダイムに依存している。 我々は,ロボット操作のための新しいエンドツーエンドの階層型CILポリシーアーキテクチャである,スキル・プロンプトに基づく階層型連続模倣学習(SPECI)を提案する。
  論文  参考訳（メタデータ） (2025-04-22T03:30:38Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Learning Options via Compression [62.55893046218824]
  そこで本研究では,スキル記述長に対するペナルティと,最大限の目標を組み合わさった新たな目的を提案する。 我々の目的は、最大化可能性のみから学んだスキルと比較して、下流のタスクを少ないサンプルで解くスキルを学ぶことである。
  論文  参考訳（メタデータ） (2022-12-08T22:34:59Z)
• Active Task Randomization: Learning Robust Skills via Unsupervised Generation of Diverse and Feasible Tasks [37.73239471412444]
  我々は、教師なしのトレーニングタスクの生成を通じて、堅牢なスキルを学ぶアプローチであるActive Task Randomization (ATR)を導入する。 ATRは、タスクの多様性と実現可能性のバランスをとることで、堅牢なスキルを学ぶために、初期環境状態と操作目標からなる適切なタスクを選択する。 本研究では,視覚的入力に基づく逐次操作問題の解決のために,タスクプランナが学習スキルを構成することを実証する。
  論文  参考訳（メタデータ） (2022-11-11T11:24:55Z)
• Unsupervised Reinforcement Learning for Transferable Manipulation Skill Discovery [22.32327908453603]
  ロボット工学における現在の強化学習(RL)は、しばしば新しい下流タスクへの一般化の難しさを経験する。 本稿では,タスク固有の報酬にアクセスできることなく,タスクに依存しない方法でエージェントを事前訓練するフレームワークを提案する。 提案手法は,最も多様なインタラクション動作を実現し,下流タスクのサンプル効率を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-04-29T06:57:46Z)
• Skill-based Meta-Reinforcement Learning [65.31995608339962]
  本研究では,長期的スパース・リワードタスクにおけるメタラーニングを実現する手法を提案する。 私たちの中核となる考え方は、メタ学習中にオフラインデータセットから抽出された事前経験を活用することです。
  論文  参考訳（メタデータ） (2022-04-25T17:58:19Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• Hierarchical Skills for Efficient Exploration [70.62309286348057]
  強化学習において、事前訓練された低レベルスキルは、探索を大幅に促進する可能性がある。 下流タスクの以前の知識は、スキルデザインにおける一般性(きめ細かい制御)と特異性(より高速な学習)の適切なバランスをとるために必要である。 教師なしの方法で様々な複雑さのスキルを習得する階層的スキル学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-20T22:29:32Z)
• Discovering Generalizable Skills via Automated Generation of Diverse Tasks [82.16392072211337]
  本稿では,多種多様なタスクの自動生成による一般化可能なスキルの発見手法を提案する。 教師なしスキル発見の先行研究とは対照的に,本手法では各スキルをトレーニング可能なタスクジェネレータが生成するユニークなタスクとペアリングする。 生成したタスクにおけるロボットの動作に定義されたタスク判別器を共同で訓練し、多様性目標の低いエビデンスを推定する。 学習スキルは階層的な強化学習アルゴリズムで構成され、目に見えない目標タスクを解決する。
  論文  参考訳（メタデータ） (2021-06-26T03:41:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。