論文の概要: DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects

• arxiv url: http://arxiv.org/abs/2305.05706v1
• Date: Tue, 9 May 2023 18:30:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 15:43:53.699264
• Title: DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects
• Title（参考訳）: DexArt: Articulated Objectsによる一般化可能なデクサラスマニピュレーションのベンチマーク
• Authors: Chen Bao, Helin Xu, Yuzhe Qin, Xiaolong Wang
• Abstract要約: 物理シミュレーターにおけるArticulated ObjectによるDexterous操作を含むDexArtという新しいベンチマークを提案する。 本研究の主目的は,未確認対象に対する学習方針の一般化性を評価することである。 一般化を実現するために3次元表現学習を用いた強化学習を用いる。
• 参考スコア（独自算出の注目度）: 8.195608430584073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To enable general-purpose robots, we will require the robot to operate daily articulated objects as humans do. Current robot manipulation has heavily relied on using a parallel gripper, which restricts the robot to a limited set of objects. On the other hand, operating with a multi-finger robot hand will allow better approximation to human behavior and enable the robot to operate on diverse articulated objects. To this end, we propose a new benchmark called DexArt, which involves Dexterous manipulation with Articulated objects in a physical simulator. In our benchmark, we define multiple complex manipulation tasks, and the robot hand will need to manipulate diverse articulated objects within each task. Our main focus is to evaluate the generalizability of the learned policy on unseen articulated objects. This is very challenging given the high degrees of freedom of both hands and objects. We use Reinforcement Learning with 3D representation learning to achieve generalization. Through extensive studies, we provide new insights into how 3D representation learning affects decision making in RL with 3D point cloud inputs. More details can be found at https://www.chenbao.tech/dexart/.
• Abstract（参考訳）: 汎用ロボットを実現するためには、ロボットが人間のように日常的に操作する必要がある。 現在のロボット操作は、ロボットが限られた対象物に制限される並列グリップを使用することに大きく依存している。 一方、マルチフィンガーロボットの操作は、人間の行動により良い近似を可能にし、ロボットが多様な関節の物体で操作できるようにする。 そこで本研究では,物理シミュレータにおけるArticulated ObjectによるDexterous操作を含む,DexArtと呼ばれる新しいベンチマークを提案する。 私たちのベンチマークでは、複数の複雑な操作タスクを定義し、ロボットハンドは各タスク内の様々な関節オブジェクトを操作する必要があります。 我々の主な焦点は,未認識の明瞭な対象に対する学習方針の一般化可能性を評価することである。 両手と物体の高度な自由度を考えると、これは非常に難しい。 一般化を実現するために3次元表現学習を用いた強化学習を用いる。 広範にわたる研究を通じて,3次元クラウド入力を用いたRLにおける3次元表現学習が意思決定に与える影響について,新たな知見を提供する。 詳細はhttps://www.chenbao.tech/dexart/にある。

関連論文リスト

• ManiFoundation Model for General-Purpose Robotic Manipulation of Contact Synthesis with Arbitrary Objects and Robots [24.035706461949715]
  汎用ロボットが幅広い操作タスクをこなせるようなモデルを開発する必要がある。 本研究は,汎用ロボット操作の基礎モデルを構築するための包括的枠組みを導入する。 私たちのモデルは、平均的な成功率を約90%達成します。
  論文  参考訳（メタデータ） (2024-05-11T09:18:37Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
  ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。 我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。 実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
  論文  参考訳（メタデータ） (2023-03-02T01:55:10Z)
• Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
  我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。 我々の枠組みは、人間の手の動きを予測することに基づいている。 トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
  論文  参考訳（メタデータ） (2023-02-03T21:39:52Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• DexTransfer: Real World Multi-fingered Dexterous Grasping with Minimal Human Demonstrations [51.87067543670535]
  本研究では,少数の人間によるデモンストレーションを行い,見えない物体のポーズを学習するロボット学習システムを提案する。 我々は,物体の点群を入力として捉え,物体を異なる初期ロボット状態から把握するための連続的な動作を予測する,厳密な把握ポリシーを訓練する。 我々のデータセットから学んだポリシーは、シミュレーションと現実世界の両方で見えないオブジェクトのポーズをうまく一般化することができる。
  論文  参考訳（メタデータ） (2022-09-28T17:51:49Z)
• From One Hand to Multiple Hands: Imitation Learning for Dexterous Manipulation from Single-Camera Teleoperation [26.738893736520364]
  我々は,iPadとコンピュータのみで3Dデモを効率的に収集する,新しい単一カメラ遠隔操作システムを提案する。 我々は,操作者の手の構造と形状が同じであるマニピュレータである物理シミュレータにおいて,各ユーザ向けにカスタマイズされたロボットハンドを構築する。 データを用いた模倣学習では、複数の複雑な操作タスクでベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2022-04-26T17:59:51Z)
• DexMV: Imitation Learning for Dexterous Manipulation from Human Videos [11.470141313103465]
  本稿では,コンピュータビジョンとロボット学習のギャップを埋めるために,新しいプラットフォームとパイプラインであるDexMVを提案する。 i)多指ロボットハンドによる複雑な操作タスクのシミュレーションシステムと,(ii)人間の手による大規模な実演を記録するコンピュータビジョンシステムとを設計する。 実演ではロボット学習を大きなマージンで改善することができ、強化学習だけでは解決できない複雑なタスクを解決できることが示される。
  論文  参考訳（メタデータ） (2021-08-12T17:51:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。