論文の概要: ASGrasp: Generalizable Transparent Object Reconstruction and Grasping from RGB-D Active Stereo Camera
- arxiv url: http://arxiv.org/abs/2405.05648v1
- Date: Thu, 9 May 2024 09:44:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-10 13:42:37.628108
- Title: ASGrasp: Generalizable Transparent Object Reconstruction and Grasping from RGB-D Active Stereo Camera
- Title（参考訳）: ASGrasp:RGB-Dアクティブステレオカメラによる汎用透明物体再構成とグラッピング
- Authors: Jun Shi, Yong A, Yixiang Jin, Dingzhe Li, Haoyu Niu, Zhezhu Jin, He Wang,
- Abstract要約: RGB-Dアクティブステレオカメラを用いた6自由度グリップ検出ネットワークASGraspを提案する。
本システムでは, 透明物体形状再構成において, 生のIRおよびRGB画像を直接利用できることで, 自己を識別する。
実験により、ASGraspは、一般化可能な透明物体把握において90%以上の成功率を達成できることが示された。
- 参考スコア（独自算出の注目度）: 9.212504138203222
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we tackle the problem of grasping transparent and specular objects. This issue holds importance, yet it remains unsolved within the field of robotics due to failure of recover their accurate geometry by depth cameras. For the first time, we propose ASGrasp, a 6-DoF grasp detection network that uses an RGB-D active stereo camera. ASGrasp utilizes a two-layer learning-based stereo network for the purpose of transparent object reconstruction, enabling material-agnostic object grasping in cluttered environments. In contrast to existing RGB-D based grasp detection methods, which heavily depend on depth restoration networks and the quality of depth maps generated by depth cameras, our system distinguishes itself by its ability to directly utilize raw IR and RGB images for transparent object geometry reconstruction. We create an extensive synthetic dataset through domain randomization, which is based on GraspNet-1Billion. Our experiments demonstrate that ASGrasp can achieve over 90% success rate for generalizable transparent object grasping in both simulation and the real via seamless sim-to-real transfer. Our method significantly outperforms SOTA networks and even surpasses the performance upper bound set by perfect visible point cloud inputs.Project page: https://pku-epic.github.io/ASGrasp
- Abstract（参考訳）: 本稿では,透明かつ特異な物体の把握という課題に対処する。
この問題は重要であるが、深度カメラによる正確な幾何学の復元に失敗したため、ロボット工学の分野では未解決のままである。
RGB-D アクティブステレオカメラを用いた 6-DoF グリップ検出ネットワーク ASGrasp を提案する。
ASGraspは2層学習型ステレオネットワークを用いて透明な物体再構成を実現し, 乱雑な環境下での物質に依存しない物体の把握を可能にする。
深度補正ネットワークと深度カメラが生成する深度マップの品質に大きく依存する既存のRGB-Dベースの把握検出手法とは対照的に,本システムは透明な物体形状再構成に生のIRおよびRGB画像を直接活用する能力によって,自己を区別する。
我々は,GraspNet-1Billionをベースとした領域ランダム化により,広範囲な合成データセットを作成する。
実験により,ASGraspはシミュレーションと実物の両方をシームレスなsim-to-real転送で把握し,90%以上の成功率を達成できることが実証された。
我々の手法はSOTAネットワークを著しく上回り、完全可視点クラウド入力による性能上界セットを超越する。
関連論文リスト
- ReFlow6D: Refraction-Guided Transparent Object 6D Pose Estimation via Intermediate Representation Learning [48.29147383536012]
透明な物体6次元ポーズ推定のための新しい手法であるReFlow6Dを提案する。
従来の手法とは異なり,RGB画像空間の変化や深度情報に依存しない特徴空間を利用する。
ReFlow6Dは,RGB画像のみを入力として,透明物体の正確な6次元ポーズ推定を実現する。
論文 参考訳（メタデータ） (2024-12-30T09:53:26Z) - TDCNet: Transparent Objects Depth Completion with CNN-Transformer Dual-Branch Parallel Network [8.487135422430972]
透明物体深度を補完する2分岐CNN-Transformer並列ネットワークであるTDCNetを提案する。
本モデルは,複数の公開データセットにまたがって最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-12-19T15:42:21Z) - MVTrans: Multi-View Perception of Transparent Objects [29.851395075937255]
我々は、RGB-Dセンサから信頼できない深度マップを除外し、ステレオ法を拡張した。
提案手法であるMVTransは,複数の知覚能力を持つエンドツーエンドのマルチビューアーキテクチャである。
我々は、新しい手続き型フォトリアリスティックデータセット生成パイプラインを構築し、大規模透明なオブジェクト検出データセットを作成する。
論文 参考訳（メタデータ） (2023-02-22T22:45:28Z) - MonoGraspNet: 6-DoF Grasping with a Single RGB Image [73.96707595661867]
6-DoFロボットの把握は長続きするが未解決の問題だ。
近年の手法では3次元ネットワークを用いて深度センサから幾何的把握表現を抽出している。
我々はMonoGraspNetと呼ばれるRGBのみの6-DoFグルーピングパイプラインを提案する。
論文 参考訳（メタデータ） (2022-09-26T21:29:50Z) - TransCG: A Large-Scale Real-World Dataset for Transparent Object Depth
Completion and Grasping [46.6058840385155]
我々は、透明な物体深度を補完する大規模な実世界のデータセットをコントリビュートする。
データセットには、130の異なるシーンから57,715枚のRGB-D画像が含まれている。
本稿では,RGB画像と不正確な深度マップを入力とし,精細化された深度マップを出力するエンド・ツー・エンドの深度補完ネットワークを提案する。
論文 参考訳（メタデータ） (2022-02-17T06:50:20Z) - Boosting RGB-D Saliency Detection by Leveraging Unlabeled RGB Images [89.81919625224103]
RGB-D Salient Object Detection (SOD) のための深層モデルの訓練は、しばしば多数のラベル付きRGB-D画像を必要とする。
本稿では、ラベルのないRGB画像を活用するために、Dual-Semi RGB-D Salient Object Detection Network (DS-Net)を提案する。
論文 参考訳（メタデータ） (2022-01-01T03:02:27Z) - RGB-D Local Implicit Function for Depth Completion of Transparent
Objects [43.238923881620494]
ロボット工学における認識方法の大部分は、RGB-Dカメラが提供する深度情報を必要とする。
標準的な3Dセンサーは、屈折と光の吸収により透明な物体の深さを捉えられない。
ノイズの多いRGB-D入力を考慮し,欠損深度を完備できる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-01T17:00:04Z) - RGB Matters: Learning 7-DoF Grasp Poses on Monocular RGBD Images [42.68340286459079]
一般的な対象把握はロボティクスの分野では重要だが未解決の問題である。
RGBD-Graspは、7-DoFグリップ検出を2つのサブタスクに分離することでこの問題を解決するパイプラインである。
GraspNet-1Billionデータセットで最新の結果が得られます。
論文 参考訳（メタデータ） (2021-03-03T05:12:20Z) - MobileSal: Extremely Efficient RGB-D Salient Object Detection [62.04876251927581]
本稿では,効率的なRGB-Dサルエント物体検出(SOD)に焦点を当てた新しいネットワーク,メソッド名を提案する。
RGB-D SODのためのモバイルネットワークの特徴表現能力を強化するために,暗黙的深度復元(IDR)手法を提案する。
IDRとCPRを組み込むことで、7つの挑戦的なRGB-D SODデータセット上のsArtメソッドに対してメソッド名が好ましい。
論文 参考訳（メタデータ） (2020-12-24T04:36:42Z) - Progressively Guided Alternate Refinement Network for RGB-D Salient
Object Detection [63.18846475183332]
我々は,RGB-Dの高次物体検出のための効率的かつコンパクトなディープネットワークを開発することを目指している。
そこで本研究では,改良のための改良ネットワークを提案する。
我々のモデルは、既存の最先端のアプローチよりも大きなマージンで優れています。
論文 参考訳（メタデータ） (2020-08-17T02:55:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。