論文の概要: PerAct2: A Perceiver Actor Framework for Bimanual Manipulation Tasks

• arxiv url: http://arxiv.org/abs/2407.00278v1
• Date: Sat, 29 Jun 2024 02:06:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 05:41:03.362921
• Title: PerAct2: A Perceiver Actor Framework for Bimanual Manipulation Tasks
• Title（参考訳）: PerAct2: 双方向操作タスクの知覚アクタフレームワーク
• Authors: Markus Grotz, Mohit Shridhar, Tamim Asfour, Dieter Fox,
• Abstract要約: 両腕間の正確な空間的・時間的調整が要求されるため、両腕の操作は困難である。 本稿では,RLBenchを双方向操作に拡張することで,そのギャップを解消する。 コードとベンチマークをオープンソース化し、13のタスクと23のユニークなタスクのバリエーションで構成されました。
• 参考スコア（独自算出の注目度）: 32.94163186662167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bimanual manipulation is challenging due to precise spatial and temporal coordination required between two arms. While there exist several real-world bimanual systems, there is a lack of simulated benchmarks with a large task diversity for systematically studying bimanual capabilities across a wide range of tabletop tasks. This paper addresses the gap by extending RLBench to bimanual manipulation. We open-source our code and benchmark comprising 13 new tasks with 23 unique task variations, each requiring a high degree of coordination and adaptability. To kickstart the benchmark, we extended several state-of-the art methods to bimanual manipulation and also present a language-conditioned behavioral cloning agent -- PerAct2, which enables the learning and execution of bimanual 6-DoF manipulation tasks. Our novel network architecture efficiently integrates language processing with action prediction, allowing robots to understand and perform complex bimanual tasks in response to user-specified goals. Project website with code is available at: http://bimanual.github.io
• Abstract（参考訳）: 両腕間の正確な空間的・時間的調整が要求されるため、両腕の操作は困難である。 実世界のバイマニュアルシステムにはいくつか存在するが、広範囲のテーブルトップタスクにまたがってバイマニュアル機能を体系的に研究する上で、大きなタスク多様性を持つシミュレーションベンチマークが欠如している。 本稿では,RLBenchを双方向操作に拡張することで,そのギャップを解消する。 コードとベンチマークをオープンソースで公開し、23のタスクバリエーションを備えた13の新しいタスクで構成されています。 ベンチマークを開始するために、いくつかの最先端の手法をバイマン的操作に拡張し、また、バイマン的6-DoF操作タスクの学習と実行を可能にする言語条件のビヘイビアクローニングエージェントであるPerAct2を提示した。 我々の新しいネットワークアーキテクチャは、言語処理とアクション予測を効率的に統合し、ロボットがユーザの指定した目標に応じて複雑なバイマニュアルタスクを理解し実行できるようにする。 コード付きプロジェクトのWebサイトは以下の通り。

関連論文リスト

• Reinforcement Learning with Action Sequence for Data-Efficient Robot Learning [62.3886343725955]
  本稿では,行動列上のQ値を出力する批判ネットワークを学習する新しいRLアルゴリズムを提案する。 提案アルゴリズムは,現在および将来の一連の行動の実行結果を学習するために値関数を明示的に訓練することにより,ノイズのある軌道から有用な値関数を学習することができる。
  論文  参考訳（メタデータ） (2024-11-19T01:23:52Z)
• BiKC: Keypose-Conditioned Consistency Policy for Bimanual Robotic Manipulation [48.08416841005715]
  両面操作に適したキーポーズ条件の整合性ポリシーを導入する。 階層的な模倣学習フレームワークであり、ハイレベルなキープレース予測器と低レベルな軌道生成器から構成される。 シミュレーションおよび実世界の実験結果から,提案手法は成功率と運用効率の点で基準法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-06-14T14:49:12Z)
• Large Language Models for Orchestrating Bimanual Robots [19.60907949776435]
  本稿では,Language-based Bimanual Orchestration (LABOR)を提案する。 NICOLヒューマノイドロボットを用いた2種類の長距離作業のシミュレーション実験により,本手法の評価を行った。
  論文  参考訳（メタデータ） (2024-04-02T15:08:35Z)
• LEMMA: Learning Language-Conditioned Multi-Robot Manipulation [21.75163634731677]
  LanguagE-Conditioned Multi-robot Manipulation (LEMMA) LeMMAは、手続き的に生成されるタスクが8種類あり、複雑さは様々である。 それぞれのタスクに対して,800の専門的なデモンストレーションと,トレーニングと評価のためのヒューマンインストラクションを提供します。
  論文  参考訳（メタデータ） (2023-08-02T04:37:07Z)
• RObotic MAnipulation Network (ROMAN) $\unicode{x2013}$ Hybrid Hierarchical Learning for Solving Complex Sequential Tasks [70.69063219750952]
  ロボットマニピュレーションネットワーク(ROMAN)のハイブリッド階層型学習フレームワークを提案する。 ROMANは、行動クローニング、模倣学習、強化学習を統合することで、タスクの汎用性と堅牢な障害回復を実現する。 実験結果から,これらの専門的な操作専門家の組織化と活性化により,ROMANは高度な操作タスクの長いシーケンスを達成するための適切なシーケンシャルなアクティベーションを生成することがわかった。
  論文  参考訳（メタデータ） (2023-06-30T20:35:22Z)
• Instruct2Act: Mapping Multi-modality Instructions to Robotic Actions with Large Language Model [63.66204449776262]
  Instruct2Actは、ロボット操作タスクのシーケンシャルアクションにマルチモーダル命令をマッピングするフレームワークである。 我々のアプローチは、様々な命令のモダリティや入力タイプを調節する上で、調整可能で柔軟なものである。 我々のゼロショット法は、いくつかのタスクにおいて、最先端の学習ベースのポリシーよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-18T17:59:49Z)
• Using Both Demonstrations and Language Instructions to Efficiently Learn Robotic Tasks [21.65346551790888]
  DeL-TaCoは、視覚的なデモンストレーションと言語指導という2つのコンポーネントからなるタスク埋め込みにロボットポリシーを条件付ける方法である。 我々の知る限り、デモと言語埋め込みの両方にマルチタスクロボット操作ポリシーを同時に条件付けすることで、モダリティのみの条件付けよりもサンプル効率と一般化が向上することを示す最初の研究である。
  論文  参考訳（メタデータ） (2022-10-10T08:06:58Z)
• VIMA: General Robot Manipulation with Multimodal Prompts [82.01214865117637]
  ロボット操作タスクの幅広い範囲をマルチモーダルプロンプトで表現できることを示す。 我々は,数千の手続き的に生成されたテーブルトップタスクからなる新しいシミュレーションベンチマークを開発した。 我々は、これらのプロンプトを処理し、自動回帰的に運動動作を出力するトランスフォーマーベースのロボットエージェントVIMAを設計する。
  論文  参考訳（メタデータ） (2022-10-06T17:50:11Z)
• Instruction-driven history-aware policies for robotic manipulations [82.25511767738224]
  複数の入力を考慮に入れた統一型トランスフォーマー方式を提案する。 特に,我々のトランスフォーマーアーキテクチャは,(i)自然言語命令と(ii)多視点シーン観測を統合している。 RLBenchベンチマークと実世界のロボットを用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2022-09-11T16:28:25Z)
• Disentangled Attention as Intrinsic Regularization for Bimanual Multi-Object Manipulation [18.38312133753365]
  本稿では,スパース報酬を伴う複数のオブジェクト上での複雑な双方向ロボット操作タスクの解決問題に対処する。 本研究では,2つのロボットが個別のサブタスクとオブジェクトに焦点を合わせるための本質的な正規化を提供する,非絡み合い注意と呼ばれる新しい手法を提案する。 実験結果から,本提案の本質的正則化は支配を回避し,政策の対立を軽減できることが示唆された。
  論文  参考訳（メタデータ） (2021-06-10T16:53:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。