論文の概要: MRSD: Multi-Resolution Skill Discovery for HRL Agents

• arxiv url: http://arxiv.org/abs/2505.21410v1
• Date: Tue, 27 May 2025 16:38:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.805071
• Title: MRSD: Multi-Resolution Skill Discovery for HRL Agents
• Title（参考訳）: MRSD:HRLエージェントのマルチリゾリューションスキル発見
• Authors: Shashank Sharma, Janina Hoffmann, Vinay Namboodiri,
• Abstract要約: 異なる時間分解能で複数のスキルエンコーダを並列に学習するHRLフレームワークであるMulti-Resolution Skill Discovery (MRSD)を提案する。 高レベルのマネージャがこれらのスキルの中から動的に選択し、時間とともに適応的な制御戦略を可能にする。 MRSDは最先端の技術発見やHRL法よりも優れており、より高速な収束とより高い最終性能を実現している。
• 参考スコア（独自算出の注目度）: 2.1438108757511958
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hierarchical reinforcement learning (HRL) relies on abstract skills to solve long-horizon tasks efficiently. While existing skill discovery methods learns these skills automatically, they are limited to a single skill per task. In contrast, humans learn and use both fine-grained and coarse motor skills simultaneously. Inspired by human motor control, we propose Multi-Resolution Skill Discovery (MRSD), an HRL framework that learns multiple skill encoders at different temporal resolutions in parallel. A high-level manager dynamically selects among these skills, enabling adaptive control strategies over time. We evaluate MRSD on tasks from the DeepMind Control Suite and show that it outperforms prior state-of-the-art skill discovery and HRL methods, achieving faster convergence and higher final performance. Our findings highlight the benefits of integrating multi-resolution skills in HRL, paving the way for more versatile and efficient agents.
• Abstract（参考訳）: 階層的強化学習(HRL)は、長期的タスクを効率的に解くための抽象的なスキルに依存している。 既存のスキル発見手法はこれらのスキルを自動的に学習するが、タスク毎に1つのスキルに制限される。 対照的に、人間はきめ細かな運動能力と粗い運動能力の両方を同時に学習し、使用する。 人間の運動制御にインスパイアされたHRLフレームワークであるMulti-Resolution Skill Discovery (MRSD)を提案する。 高レベルのマネージャがこれらのスキルの中から動的に選択し、時間とともに適応的な制御戦略を可能にする。 我々はDeepMind Control SuiteのタスクにおけるMRSDを評価し、最先端技術発見法やHRL法よりも優れており、より高速な収束と高い最終性能を実現していることを示す。 本研究は, HRLにマルチレゾリューション・スキルを組み込むことにより, より多目的で効率的なエージェントの道を開くことのメリットを浮き彫りにした。

関連論文リスト

• ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL [80.10358123795946]
  大規模言語モデルを微調整するためのマルチターンRLアルゴリズムを構築するためのフレームワークを開発する。 我々のフレームワークは階層的なRLアプローチを採用し、2つのRLアルゴリズムを並列に実行している。 実験により,ArCHerはエージェントタスクの効率と性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-29T18:45:56Z)
• Primitive Skill-based Robot Learning from Human Evaluative Feedback [28.046559859978597]
  強化学習アルゴリズムは、現実世界環境における長期ロボット操作タスクを扱う際に、課題に直面している。 本稿では,人間フィードバックからの強化学習(RLHF)と原始的スキルベース強化学習の2つのアプローチを活用する新しいフレームワークSEEDを提案する。 以上の結果から,SEEDはサンプル効率と安全性において最先端のRLアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2023-07-28T20:48:30Z)
• Granger Causal Interaction Skill Chains [35.143372688036685]
  強化学習(Reinforcement Learning, RL)は複雑なタスクの学習方針において有望な結果を示してきたが、しばしばサンプル効率の低下と限られた伝達性に悩まされる。 このアルゴリズムは、ドメイン内の制御性に着目し、高い制御を許す少数のタスクに依存しないスキルを識別する。 また、一般的なRLベンチマークであるBreakoutの変種を用いて、COInSが学習したスキルの伝達性を実証し、標準のRLベースラインと比較してサンプル効率と最終性能を2～3倍改善したことを示す。
  論文  参考訳（メタデータ） (2023-06-15T21:06:54Z)
• Controllability-Aware Unsupervised Skill Discovery [94.19932297743439]
  本稿では,非教師なしスキル発見手法であるCSD(Controlability-aware Skill Discovery)を導入する。 CSDの鍵となるコンポーネントは制御可能性を考慮した距離関数であり、現在のスキルで達成が難しい状態遷移により大きな値を割り当てる。 ロボット操作と移動環境の6つの実験結果から、CSDは監督なしで多様な複雑なスキルを発見できることが示された。
  論文  参考訳（メタデータ） (2023-02-10T08:03:09Z)
• Residual Skill Policies: Learning an Adaptable Skill-based Action Space for Reinforcement Learning for Robotics [18.546688182454236]
  スキルベース強化学習(RL)は、ロボット学習の加速に先行知識を活用するための有望な戦略として登場した。 本研究では,状態条件付き生成モデルを用いて,スキル空間における探索を高速化する手法を提案する。 我々は4つの困難な操作タスクにまたがってアプローチを検証する。
  論文  参考訳（メタデータ） (2022-11-04T02:42:17Z)
• Towards Human-Level Bimanual Dexterous Manipulation with Reinforcement Learning [73.92475751508452]
  Bimanual Dexterous Hands Benchmark (Bi-DexHands) は、数十のバイマニュアル操作タスクと数千のターゲットオブジェクトを備えた2つのデキスタラスハンドを含むシミュレータである。 Bi-DexHandsのタスクは、認知科学の文献によると、人間の運動能力のレベルが異なるように設計されている。
  論文  参考訳（メタデータ） (2022-06-17T11:09:06Z)
• Example-Driven Model-Based Reinforcement Learning for Solving Long-Horizon Visuomotor Tasks [85.56153200251713]
  長軸ビズモータタスクの完了に適したプリミティブスキルを学習するためのモデルベースRL手法EMBRを紹介する。 フランカ・エミカのロボットアームでは、EMBRによってロボットは85%の成功率で3つの長い水平視運動タスクを完了できることがわかった。
  論文  参考訳（メタデータ） (2021-09-21T16:48:07Z)
• Knowledge Transfer in Multi-Task Deep Reinforcement Learning for Continuous Control [65.00425082663146]
  連続制御のための知識伝達に基づく多タスク深層強化学習フレームワーク(KTM-DRL)を提案する。 KTM-DRLでは、マルチタスクエージェントがまずオフラインの知識伝達アルゴリズムを利用して、タスク固有の教師の経験から制御ポリシーを素早く学習する。 実験結果は,KTM-DRLとその知識伝達とオンライン学習アルゴリズムの有効性を正当化するとともに,最先端技術よりも大きなマージンによる優位性を示した。
  論文  参考訳（メタデータ） (2020-10-15T03:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。