論文の概要: TransCG: A Large-Scale Real-World Dataset for Transparent Object Depth
Completion and Grasping
- arxiv url: http://arxiv.org/abs/2202.08471v1
- Date: Thu, 17 Feb 2022 06:50:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-18 15:51:03.363724
- Title: TransCG: A Large-Scale Real-World Dataset for Transparent Object Depth
Completion and Grasping
- Title(参考訳): transcg: 透明な物体深度の完成と把握のための大規模実世界データセット
- Authors: Hongjie Fang, Hao-Shu Fang, Sheng Xu and Cewu Lu
- Abstract要約: 我々は、透明な物体深度を補完する大規模な実世界のデータセットをコントリビュートする。
データセットには、130の異なるシーンから57,715枚のRGB-D画像が含まれている。
本稿では,RGB画像と不正確な深度マップを入力とし,精細化された深度マップを出力するエンド・ツー・エンドの深度補完ネットワークを提案する。
- 参考スコア(独自算出の注目度): 46.6058840385155
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Transparent objects are common in our daily life and frequently handled in
the automated production line. Robust vision-based robotic grasping and
manipulation for these objects would be beneficial for automation. However, the
majority of current grasping algorithms would fail in this case since they
heavily rely on the depth image, while ordinary depth sensors usually fail to
produce accurate depth information for transparent objects owing to the
reflection and refraction of light. In this work, we address this issue by
contributing a large-scale real-world dataset for transparent object depth
completion, which contains 57,715 RGB-D images from 130 different scenes. Our
dataset is the first large-scale real-world dataset and provides the most
comprehensive annotation. Cross-domain experiments show that our dataset has a
great generalization ability. Moreover, we propose an end-to-end depth
completion network, which takes the RGB image and the inaccurate depth map as
inputs and outputs a refined depth map. Experiments demonstrate superior
efficacy, efficiency and robustness of our method over previous works, and it
is able to process images of high resolutions under limited hardware resources.
Real robot experiment shows that our method can also be applied to novel object
grasping robustly. The full dataset and our method are publicly available at
www.graspnet.net/transcg.
- Abstract(参考訳): 透明なオブジェクトは私たちの日常生活で一般的であり、自動生産ラインで頻繁に扱われます。
視覚に基づくロボットによる物体の把握と操作は、自動化に有用だろう。
しかし、現在の把持アルゴリズムの大部分は深度画像に大きく依存しているため失敗するが、通常の深度センサは通常、光の反射と屈折のために透明な物体の正確な深さ情報を生成することができない。
そこで本稿では,130シーンの57,715 rgb-d画像を含む透明オブジェクト深度補完のための大規模実世界データセットをコントリビュートすることで,この問題に対処した。
私たちのデータセットは、最初の大規模な実世界のデータセットであり、最も包括的なアノテーションを提供します。
クロスドメイン実験は、我々のデータセットが非常に一般化できることを示している。
さらに、RGB画像と不正確な深度マップを入力とし、精細化された深度マップを出力するエンドツーエンドの深度補完ネットワークを提案する。
実験では,従来の手法よりも優れた有効性,効率性,頑健性を示し,限られたハードウェア資源で高分解能画像を処理できることを示した。
実ロボット実験では,新しい物体の把握にロバストに応用できることを示した。
完全なデータセットとメソッドはwww.graspnet.net/transcgで公開されている。
関連論文リスト
- ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation [18.140839442955485]
我々は透明物体の立体深度回復のための視覚変換器に基づくアルゴリズムを開発した。
提案手法は,効率的なデータ生成のためのパラメータ整合,ドメイン適応,物理的に現実的なSim2Realシミュレーションを含む。
実世界のシナリオにおけるSim2Realの例外的な一般化性を示す実験結果を得た。
論文 参考訳(メタデータ) (2024-09-13T15:44:38Z) - Transparent Object Depth Completion [11.825680661429825]
理解と操作のための透明な物体の認識は、依然として大きな課題である。
深度マップに大きく依存する既存のロボットグリップ法は、その独特の視覚特性のために透明な物体には適さない。
本稿では,一視点RGB-Dに基づく深度推定と多視点深度推定の長所を組み合わせた,透明物体深度補完のためのエンドツーエンドネットワークを提案する。
論文 参考訳(メタデータ) (2024-05-24T07:38:06Z) - ASGrasp: Generalizable Transparent Object Reconstruction and Grasping from RGB-D Active Stereo Camera [9.212504138203222]
RGB-Dアクティブステレオカメラを用いた6自由度グリップ検出ネットワークASGraspを提案する。
本システムでは, 透明物体形状再構成において, 生のIRおよびRGB画像を直接利用できることで, 自己を識別する。
実験により、ASGraspは、一般化可能な透明物体把握において90%以上の成功率を達成できることが示された。
論文 参考訳(メタデータ) (2024-05-09T09:44:51Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳(メタデータ) (2024-04-05T17:55:33Z) - RFTrans: Leveraging Refractive Flow of Transparent Objects for Surface
Normal Estimation and Manipulation [50.10282876199739]
本稿では、透明物体の表面正規化と操作のためのRGB-Dに基づくRFTransを提案する。
RFNetは屈折流、物体マスク、境界を予測し、次いでF2Netは屈折流から表面の正常を推定する。
現実のロボットがタスクをつかむと、成功率は83%となり、屈折流が直接シミュレートから現実への移動を可能にすることが証明される。
論文 参考訳(メタデータ) (2023-11-21T07:19:47Z) - MonoGraspNet: 6-DoF Grasping with a Single RGB Image [73.96707595661867]
6-DoFロボットの把握は長続きするが未解決の問題だ。
近年の手法では3次元ネットワークを用いて深度センサから幾何的把握表現を抽出している。
我々はMonoGraspNetと呼ばれるRGBのみの6-DoFグルーピングパイプラインを提案する。
論文 参考訳(メタデータ) (2022-09-26T21:29:50Z) - Seeing Glass: Joint Point Cloud and Depth Completion for Transparent
Objects [16.714074893209713]
TranspareNetはジョイントポイントクラウドとディープコンプリートコンプリート方式である。
透明な物体の深さを、散らかって複雑な場面で埋めることができます。
TranspareNetは、既存の最先端のディープコンプリートメソッドを複数のデータセットで上回っている。
論文 参考訳(メタデータ) (2021-09-30T21:09:09Z) - Towards Fast and Accurate Real-World Depth Super-Resolution: Benchmark
Dataset and Baseline [48.69396457721544]
深度写像スーパーリゾリューション(SR)の研究を促進するために,RGB-D-Dという大規模データセットを構築した。
本稿では、RGB画像から高周波成分を適応的に分解して深度マップSRを導出する高速深度マップ超解像(FDSR)ベースラインを提供する。
実世界のLR深度マップでは、より明確な境界を持つより正確なHR深度マップを作成でき、ある程度の精度で深度値誤差を補正できる。
論文 参考訳(メタデータ) (2021-04-13T13:27:26Z) - RGB-D Local Implicit Function for Depth Completion of Transparent
Objects [43.238923881620494]
ロボット工学における認識方法の大部分は、RGB-Dカメラが提供する深度情報を必要とする。
標準的な3Dセンサーは、屈折と光の吸収により透明な物体の深さを捉えられない。
ノイズの多いRGB-D入力を考慮し,欠損深度を完備できる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-01T17:00:04Z) - Accurate RGB-D Salient Object Detection via Collaborative Learning [101.82654054191443]
RGB-Dサリエンシ検出は、いくつかの課題シナリオにおいて素晴らしい能力を示している。
本稿では,エッジ,深度,塩分濃度をより効率的に活用する新しい協調学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-23T04:33:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。