論文の概要: Solving Multi-Goal Robotic Tasks with Decision Transformer

• arxiv url: http://arxiv.org/abs/2410.06347v1
• Date: Tue, 8 Oct 2024 20:35:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 06:19:07.023730
• Title: Solving Multi-Goal Robotic Tasks with Decision Transformer
• Title（参考訳）: 決定変換器を用いた多目的ロボットタスクの解法
• Authors: Paul Gajewski, Dominik Żurek, Marcin Pietroń, Kamil Faber,
• Abstract要約: ロボット工学におけるオフラインマルチゴール強化学習のための決定変換器アーキテクチャの新しい適応法を提案する。 われわれのアプローチでは、ゴール固有の情報を意思決定変換器に統合し、オフライン環境で複雑なタスクを処理できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial intelligence plays a crucial role in robotics, with reinforcement learning (RL) emerging as one of the most promising approaches for robot control. However, several key challenges hinder its broader application. First, many RL methods rely on online learning, which requires either real-world hardware or advanced simulation environments--both of which can be costly, time-consuming, and impractical. Offline reinforcement learning offers a solution, enabling models to be trained without ongoing access to physical robots or simulations. A second challenge is learning multi-goal tasks, where robots must achieve multiple objectives simultaneously. This adds complexity to the training process, as the model must generalize across different goals. At the same time, transformer architectures have gained significant popularity across various domains, including reinforcement learning. Yet, no existing methods effectively combine offline training, multi-goal learning, and transformer-based architectures. In this paper, we address these challenges by introducing a novel adaptation of the decision transformer architecture for offline multi-goal reinforcement learning in robotics. Our approach integrates goal-specific information into the decision transformer, allowing it to handle complex tasks in an offline setting. To validate our method, we developed a new offline reinforcement learning dataset using the Panda robotic platform in simulation. Our extensive experiments demonstrate that the decision transformer can outperform state-of-the-art online reinforcement learning methods.
• Abstract（参考訳）: 人工知能はロボット工学において重要な役割を担い、強化学習(RL)がロボット制御の最も有望なアプローチの1つとして登場した。 しかし、いくつかの重要な課題は、その適用を妨げている。 第一に、多くのRL手法はオンライン学習に依存しており、これは現実世界のハードウェアか高度なシミュレーション環境を必要とする。 オフライン強化学習は、物理ロボットやシミュレーションへのアクセスを継続することなくモデルをトレーニングできるソリューションを提供する。 第2の課題は、ロボットが複数の目標を同時に達成しなければならないマルチゴールタスクの学習である。 これにより、モデルは異なる目標をまたいで一般化する必要があるため、トレーニングプロセスに複雑さが増す。 同時に、トランスフォーマーアーキテクチャは強化学習を含む様々な領域で大きな人気を集めている。 しかし、オフライントレーニング、マルチゴール学習、トランスフォーマーベースのアーキテクチャを効果的に組み合わせる既存の方法は存在しない。 本稿では,ロボット工学におけるオフラインマルチゴール強化学習のための決定変換器アーキテクチャの新たな適応を導入することで,これらの課題に対処する。 われわれのアプローチでは、ゴール固有の情報を意思決定変換器に統合し、オフライン環境で複雑なタスクを処理できる。 提案手法を検証するために,Pandaロボットプラットフォームを用いた新しいオフライン強化学習データセットを開発した。 我々の広範な実験は、決定変換器が最先端のオンライン強化学習方法より優れていることを示した。

関連論文リスト

• Multi-Objective Algorithms for Learning Open-Ended Robotic Problems [1.0124625066746598]
  四足歩行は、自動運転車の普及に不可欠な複雑でオープンな問題である。 従来の強化学習アプローチは、トレーニングの不安定性とサンプルの非効率のため、しばしば不足する。 自動カリキュラム学習機構として多目的進化アルゴリズムを活用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-11T16:26:42Z)
• A Retrospective on the Robot Air Hockey Challenge: Benchmarking Robust, Reliable, and Safe Learning Techniques for Real-world Robotics [53.33976793493801]
  私たちは、NeurIPS 2023カンファレンスでRobot Air Hockey Challengeを組織しました。 我々は、シム・トゥ・リアルギャップ、低レベルの制御問題、安全性問題、リアルタイム要件、実世界のデータの限られた可用性など、ロボット工学における実践的な課題に焦点を当てる。 その結果、学習に基づくアプローチと事前知識を組み合わせたソリューションは、実際のデプロイメントが困難である場合にデータのみに依存するソリューションよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-11-08T17:20:47Z)
• Scaling Cross-Embodied Learning: One Policy for Manipulation, Navigation, Locomotion and Aviation [49.03165169369552]
  さまざまな種類のロボットにまたがって単一のポリシーを訓練することによって、ロボット学習はより広範囲で多様なデータセットを活用することができる。 そこで我々はCrossFormerを提案する。CrossFormerはスケーラブルでフレキシブルなトランスフォーマーベースのポリシーで、どんな実施形態からでもデータを消費できる。 我々は、同じネットワークウェイトがシングルアームとデュアルアームの操作システム、車輪付きロボット、クワッドコプター、四足歩行など、非常に異なるロボットを制御できることを実証した。
  論文  参考訳（メタデータ） (2024-08-21T17:57:51Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance [71.36749876465618]
  本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。 本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。 実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
  論文  参考訳（メタデータ） (2022-12-19T22:50:40Z)
• What Matters in Language Conditioned Robotic Imitation Learning [26.92329260907805]
  オフラインのフリーフォーム模倣データセットから言語条件付きポリシーを学習する際の最も重要な課題について検討する。 本稿では,CALVINベンチマークを用いて,言語条件の難易度を向上する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T08:45:32Z)
• Lifelong Robotic Reinforcement Learning by Retaining Experiences [61.79346922421323]
  多くのマルチタスク強化学習は、ロボットが常にすべてのタスクからデータを収集できると仮定している。 本研究では,物理ロボットシステムの実用的制約を動機として,現実的なマルチタスクRL問題について検討する。 我々は、ロボットのスキルセットを累積的に成長させるために、過去のタスクで学んだデータとポリシーを効果的に活用するアプローチを導出する。
  論文  参考訳（メタデータ） (2021-09-19T18:00:51Z)
• Bayesian Meta-Learning for Few-Shot Policy Adaptation Across Robotic Platforms [60.59764170868101]
  強化学習手法は、重要な性能を達成できるが、同じロボットプラットフォームで収集される大量のトレーニングデータを必要とする。 私たちはそれを、さまざまなロボットプラットフォームで共有される共通の構造を捉えるモデルを見つけることを目標とする、数ショットのメタラーニング問題として定式化します。 我々は,400個のロボットを用いて,実ロボットピッキング作業とシミュレーションリーチの枠組みを実験的に評価した。
  論文  参考訳（メタデータ） (2021-03-05T14:16:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。