Fugu-MT 論文翻訳(概要): ManiPose: A Comprehensive Benchmark for Pose-aware Object Manipulation in Robotics

論文の概要: ManiPose: A Comprehensive Benchmark for Pose-aware Object Manipulation in Robotics

arxiv url: http://arxiv.org/abs/2403.13365v1
Date: Wed, 20 Mar 2024 07:48:32 GMT
ステータス: 処理完了
システム内更新日: 2024-03-21 17:38:28.116814
Title: ManiPose: A Comprehensive Benchmark for Pose-aware Object Manipulation in Robotics
Title（参考訳）: ManiPose:ロボットにおけるPose-Aware Object Manipulationの総合ベンチマーク
Authors: Qiaojun Yu, Ce Hao, Junbo Wang, Wenhai Liu, Liu Liu, Yao Mu, Yang You, Hengxu Yan, Cewu Lu,
Abstract要約: 本稿では,ポーズ変動操作タスクの研究を進めるための先駆的ベンチマークであるManiPoseを紹介する。包括的データセットは、2936の現実世界のスキャンされた剛体オブジェクトと100の明瞭なオブジェクトに対して、幾何学的に一貫性があり、操作指向の6Dポーズラベルを備えている。本ベンチマークは,ポーズ推定,ポーズ認識操作,実ロボットのスキル伝達における顕著な進歩を示す。
参考スコア（独自算出の注目度）: 55.85916671269219
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Robotic manipulation in everyday scenarios, especially in unstructured environments, requires skills in pose-aware object manipulation (POM), which adapts robots' grasping and handling according to an object's 6D pose. Recognizing an object's position and orientation is crucial for effective manipulation. For example, if a mug is lying on its side, it's more effective to grasp it by the rim rather than the handle. Despite its importance, research in POM skills remains limited, because learning manipulation skills requires pose-varying simulation environments and datasets. This paper introduces ManiPose, a pioneering benchmark designed to advance the study of pose-varying manipulation tasks. ManiPose encompasses: 1) Simulation environments for POM feature tasks ranging from 6D pose-specific pick-and-place of single objects to cluttered scenes, further including interactions with articulated objects. 2) A comprehensive dataset featuring geometrically consistent and manipulation-oriented 6D pose labels for 2936 real-world scanned rigid objects and 100 articulated objects across 59 categories. 3) A baseline for POM, leveraging the inferencing abilities of LLM (e.g., ChatGPT) to analyze the relationship between 6D pose and task-specific requirements, offers enhanced pose-aware grasp prediction and motion planning capabilities. Our benchmark demonstrates notable advancements in pose estimation, pose-aware manipulation, and real-robot skill transfer, setting new standards for POM research. We will open-source the ManiPose benchmark with the final version paper, inviting the community to engage with our resources, available at our website:https://sites.google.com/view/manipose.
Abstract（参考訳）: 日常のシナリオにおけるロボット操作、特に非構造化環境では、ロボットが物体の6Dポーズに応じて把握および処理を行うために、ポーズ対応オブジェクト操作(POM)のスキルを必要とする。オブジェクトの位置と向きを認識することは、効果的な操作に不可欠である。例えば、マグカップが横に横たわっている場合、ハンドルよりも縁でつかむ方が効果的です。その重要性にもかかわらず、学習操作スキルはポーズの異なるシミュレーション環境とデータセットを必要とするため、POMスキルの研究は依然として限られている。本稿では,ポーズ変動操作タスクの研究を進めるための先駆的ベンチマークであるManiPoseを紹介する。 ManiPose (複数形 ManiPoses) 1)POMの特徴的タスクのシミュレーション環境は,1つのオブジェクトの6次元ポーズ固有のピック・アンド・プレイスから,さらに明瞭なオブジェクトとのインタラクションを含む散在するシーンまで様々である。 2) 59のカテゴリーで2936個の実世界スキャンされた剛体物体と100個の調音された物体について,幾何的整合性および操作指向の6Dポーズラベルを特徴とする包括的データセットを作成した。 3)LLM(例えばChatGPT)の推論能力を活用して6Dポーズとタスク固有の要件の関係を解析するPOMのベースラインは,ポーズ対応の把握予測と動作計画能力の向上を提供する。提案手法は, ポーズ推定, ポーズ認識操作, 実ロボットのスキル伝達において顕著な進歩を示し, POM 研究の新たな基準を設定した。 ManiPoseベンチマークを最終バージョンでオープンソース化し、コミュニティにリソースへの関与を呼びかけます。

関連論文リスト

3D Foundation Models Enable Simultaneous Geometry and Pose Estimation of Grasped Objects [13.58353565350936]
本研究では,ロボットが把握した物体の形状と姿勢を共同で推定する手法を提案する。提案手法は,推定幾何をロボットの座標フレームに変換する。我々は,実世界の多様な物体の集合を保持するロボットマニピュレータに対する我々のアプローチを実証的に評価した。
論文参考訳（メタデータ） (2024-07-14T21:02:55Z)
HANDAL: A Dataset of Real-World Manipulable Object Categories with Pose Annotations, Affordances, and Reconstructions [17.9178233068395]
本稿では,カテゴリレベルのオブジェクトポーズ推定とアベイランス予測のためのHANDALデータセットを提案する。このデータセットは、17のカテゴリで212の現実世界のオブジェクトの2.2kビデオから308kの注釈付き画像フレームで構成されている。 6-DoFカテゴリレベルのポーズ+スケール推定と関連するタスクに対するデータセットの有用性について概説する。
論文参考訳（メタデータ） (2023-08-02T23:59:59Z)
ShapeShift: Superquadric-based Object Pose Estimation for Robotic Grasping [85.38689479346276]
現在の技術は参照3Dオブジェクトに大きく依存しており、その一般化性を制限し、新しいオブジェクトカテゴリに拡張するのにコストがかかる。本稿では,オブジェクトに適合するプリミティブな形状に対してオブジェクトのポーズを予測する,オブジェクトのポーズ推定のためのスーパークワッドリックベースのフレームワークであるShapeShiftを提案する。
論文参考訳（メタデータ） (2023-04-10T20:55:41Z)
Ambiguity-Aware Multi-Object Pose Optimization for Visually-Assisted Robot Manipulation [17.440729138126162]
あいまいさを意識した6Dオブジェクトポーズ推定ネットワークPrimA6D++を汎用的不確実性予測手法として提案する。提案手法は,T-LESS と YCB-Video のデータセットの性能向上を示す。さらに,視覚支援ロボット操作のためのリアルタイムシーン認識機能を示す。
論文参考訳（メタデータ） (2022-11-02T08:57:20Z)
Imitrob: Imitation Learning Dataset for Training and Evaluating 6D Object Pose Estimators [20.611000416051546]
本稿では,標準RGBカメラで捉えたタスクデモにおける手持ちツールの6次元ポーズ推定のためのトレーニングと評価のためのデータセットを提案する。このデータセットには、9つの異なるツールと12の操作タスクのイメージシーケンスが含まれており、2つのカメラ視点、4人の被写体、そして左右手である。
論文参考訳（メタデータ） (2022-09-16T14:43:46Z)
Unseen Object 6D Pose Estimation: A Benchmark and Baselines [62.8809734237213]
本稿では,新しい物体の6次元ポーズ推定をアルゴリズムで行えるようにするための新しいタスクを提案する。実画像と合成画像の両方でデータセットを収集し、テストセットで最大48個の未確認オブジェクトを収集する。エンド・ツー・エンドの3D対応ネットワークをトレーニングすることにより、未確認物体と部分ビューRGBD画像との対応点を高精度かつ効率的に見つけることができる。
論文参考訳（メタデータ） (2022-06-23T16:29:53Z)
6-DoF Pose Estimation of Household Objects for Robotic Manipulation: An Accessible Dataset and Benchmark [17.493403705281008]
本稿では,ロボット操作研究を中心に,既知の物体の6-DoFポーズ推定のための新しいデータセットを提案する。我々は、おもちゃの食料品の3Dスキャンされたテクスチャモデルと、難解で散らかったシーンにおけるオブジェクトのRGBD画像を提供する。半自動RGBD-to-modelテクスチャ対応を用いて、画像は数ミリ以内の精度で実証された地上の真実のポーズで注釈付けされる。また,ADD-Hと呼ばれる新しいポーズ評価尺度を提案し,対象形状の対称性に頑健なハンガリー代入アルゴリズムについて,その明示的な列挙を必要とせず提案する。
論文参考訳（メタデータ） (2022-03-11T01:19:04Z)
H2O: Two Hands Manipulating Objects for First Person Interaction Recognition [70.46638409156772]
両手操作対象のマーカーレス3Dアノテーションを用いて,エゴセントリックな対話認識のための包括的なフレームワークを提案する。本手法は,2つの手の3次元ポーズと操作対象の6次元ポーズのアノテーションと,それぞれのフレームのインタラクションラベルを生成する。我々のデータセットは、H2O (2 Hands and Objects)と呼ばれ、同期されたマルチビューRGB-D画像、対話ラベル、オブジェクトクラス、左右の手でのグラウンドトルース3Dポーズ、6Dオブジェクトポーズ、グラウンドトルースカメラポーズ、オブジェクトメッシュ、シーンポイントクラウドを提供する。
論文参考訳（メタデータ） (2021-04-22T17:10:42Z)
Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文参考訳（メタデータ） (2020-04-09T07:55:01Z)
Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
論文参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。