論文の概要: DiffClone: Enhanced Behaviour Cloning in Robotics with Diffusion-Driven Policy Learning

• arxiv url: http://arxiv.org/abs/2401.09243v2
• Date: Mon, 6 May 2024 10:39:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 23:55:35.889439
• Title: DiffClone: Enhanced Behaviour Cloning in Robotics with Diffusion-Driven Policy Learning
• Title（参考訳）: DiffClone: 拡散駆動型ポリシー学習によるロボットの行動クローンの強化
• Authors: Sabariswaran Mani, Abhranil Chandra, Sreyas Venkataraman, Adyan Rizvi, Yash Sirvi, Soumojit Bhattacharya, Aritra Hazra,
• Abstract要約: DiffCloneは、拡散に基づくポリシー学習を伴う拡張行動クローニングエージェントのオフラインアルゴリズムである。 この論文は、NeurIPS 2023で組織されたTOTOベンチマークチャレンジへの公式提出である。
• 参考スコア（独自算出の注目度）: 1.1242503819703258
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robot learning tasks are extremely compute-intensive and hardware-specific. Thus the avenues of tackling these challenges, using a diverse dataset of offline demonstrations that can be used to train robot manipulation agents, is very appealing. The Train-Offline-Test-Online (TOTO) Benchmark provides a well-curated open-source dataset for offline training comprised mostly of expert data and also benchmark scores of the common offline-RL and behaviour cloning agents. In this paper, we introduce DiffClone, an offline algorithm of enhanced behaviour cloning agent with diffusion-based policy learning, and measured the efficacy of our method on real online physical robots at test time. This is also our official submission to the Train-Offline-Test-Online (TOTO) Benchmark Challenge organized at NeurIPS 2023. We experimented with both pre-trained visual representation and agent policies. In our experiments, we find that MOCO finetuned ResNet50 performs the best in comparison to other finetuned representations. Goal state conditioning and mapping to transitions resulted in a minute increase in the success rate and mean-reward. As for the agent policy, we developed DiffClone, a behaviour cloning agent improved using conditional diffusion.
• Abstract（参考訳）: ロボット学習タスクは計算集約的でハードウェア固有のものだ。 このように、ロボット操作エージェントのトレーニングに使用できるオフラインデモの多様なデータセットを使用して、これらの課題に対処する道のりは、非常に魅力的である。 Train-Offline-Test-Online (TOTO) Benchmarkは、専門家データと、一般的なオフラインRLと行動クローンエージェントのベンチマークスコアで構成される、オフライントレーニングのための、よく訓練されたオープンソースデータセットを提供する。 本稿では,拡散型ポリシー学習を用いた拡張行動クローニングエージェントのオフラインアルゴリズムであるDiffCloneを紹介し,本手法の有効性を実時間で測定する。 これは、NeurIPS 2023で組織されたTrain-Offline-Test-Online (TOTO) Benchmark Challengeへの公式提出です。 事前学習した視覚表現とエージェントポリシーを実験した。 実験の結果,MOCOファインチューニングされたResNet50は,他のファインチューニングされた表現と比較して最高であることがわかった。 ゴール状態の条件付けとトランジションへのマッピングは、成功率と平均回帰をわずかに増加させた。 DiffCloneは, 条件付き拡散法により改良された行動クローニング剤である。

関連論文リスト

• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [60.05963742334746]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• Agent Q: Advanced Reasoning and Learning for Autonomous AI Agents [44.34340798542]
  大きな言語モデル(LLM)は、複雑な推論を必要とする自然言語タスクにおいて顕著な能力を示している。 静的データセットに対する従来の教師付き事前トレーニングは、自律的なエージェント機能を実現するには不十分である。 本稿では,モンテカルロ木探索(MCTS)を自己批判機構と組み合わせ,エージェント間相互作用を反復的に微調整するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T20:52:13Z)
• Learning From Good Trajectories in Offline Multi-Agent Reinforcement Learning [98.07495732562654]
  オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから効果的なマルチエージェントポリシーを学ぶことを目的としている。 オフラインのMARLが学んだエージェントは、しばしばこのランダムなポリシーを継承し、チーム全体のパフォーマンスを脅かす。 この問題に対処するために,共有個人軌道(SIT)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-28T18:11:26Z)
• Adaptive Behavior Cloning Regularization for Stable Offline-to-Online Reinforcement Learning [80.25648265273155]
  オフライン強化学習は、固定データセットから学習することで、環境と対話することなくエージェントの動作を学ぶことができる。 オンラインの微調整中、オフラインからオンラインデータへの突然の分散シフトにより、事前訓練されたエージェントのパフォーマンスが急速に低下する可能性がある。 エージェントの性能と訓練安定性に基づいて,オンラインファインチューニングにおける行動クローンの損失を適応的に評価することを提案する。 実験の結果,提案手法はD4RLベンチマークにおいて,最先端のオフライン-オンライン強化学習性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-10-25T09:08:26Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Retrieval-Augmented Reinforcement Learning [63.32076191982944]
  過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。 検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。 検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
  論文  参考訳（メタデータ） (2022-02-17T02:44:05Z)
• Efficient Robotic Manipulation Through Offline-to-Online Reinforcement Learning and Goal-Aware State Information [5.604859261995801]
  本稿では、遷移性能低下を解消するオフラインからオフラインまでの統一的なRLフレームワークを提案する。 目標認識状態情報をRLエージェントに導入することにより,タスクの複雑性を大幅に低減し,政策学習を加速することができる。 本フレームワークは,複数のロボット操作タスクにおける最先端手法と比較して,優れたトレーニング効率と性能を実現する。
  論文  参考訳（メタデータ） (2021-10-21T05:34:25Z)
• Offline-to-Online Reinforcement Learning via Balanced Replay and Pessimistic Q-Ensemble [135.6115462399788]
  深いオフライン強化学習により、オフラインデータセットから強力なロボットエージェントをトレーニングすることが可能になった。 状態-作用分布シフトは、微調整中に厳しいブートストラップエラーを引き起こす可能性がある。 本稿では,オンライン上で遭遇したサンプルを優先しながら,ほぼ政治的なサンプルの使用を奨励するバランスの取れたリプレイ方式を提案する。
  論文  参考訳（メタデータ） (2021-07-01T16:26:54Z)
• PerSim: Data-Efficient Offline Reinforcement Learning with Heterogeneous Agents via Personalized Simulators [19.026312915461553]
  我々はpersimと呼ばれるモデルベースオフライン強化学習(rl)手法を提案する。 まず,各エージェントのパーソナライズされたシミュレータを,政策を学ぶ前に,各エージェントの履歴軌跡をまとめて学習する。 この表現は、エージェントごとの遷移ダイナミクスを効果的に学習するための、単純で正規化されたニューラルネットワークアーキテクチャを示唆している。
  論文  参考訳（メタデータ） (2021-02-13T17:16:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。