論文の概要: TransCG: A Large-Scale Real-World Dataset for Transparent Object Depth
Completion and Grasping
- arxiv url: http://arxiv.org/abs/2202.08471v1
- Date: Thu, 17 Feb 2022 06:50:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-18 15:51:03.363724
- Title: TransCG: A Large-Scale Real-World Dataset for Transparent Object Depth
Completion and Grasping
- Title(参考訳): transcg: 透明な物体深度の完成と把握のための大規模実世界データセット
- Authors: Hongjie Fang, Hao-Shu Fang, Sheng Xu and Cewu Lu
- Abstract要約: 我々は、透明な物体深度を補完する大規模な実世界のデータセットをコントリビュートする。
データセットには、130の異なるシーンから57,715枚のRGB-D画像が含まれている。
本稿では,RGB画像と不正確な深度マップを入力とし,精細化された深度マップを出力するエンド・ツー・エンドの深度補完ネットワークを提案する。
- 参考スコア(独自算出の注目度): 46.6058840385155
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Transparent objects are common in our daily life and frequently handled in
the automated production line. Robust vision-based robotic grasping and
manipulation for these objects would be beneficial for automation. However, the
majority of current grasping algorithms would fail in this case since they
heavily rely on the depth image, while ordinary depth sensors usually fail to
produce accurate depth information for transparent objects owing to the
reflection and refraction of light. In this work, we address this issue by
contributing a large-scale real-world dataset for transparent object depth
completion, which contains 57,715 RGB-D images from 130 different scenes. Our
dataset is the first large-scale real-world dataset and provides the most
comprehensive annotation. Cross-domain experiments show that our dataset has a
great generalization ability. Moreover, we propose an end-to-end depth
completion network, which takes the RGB image and the inaccurate depth map as
inputs and outputs a refined depth map. Experiments demonstrate superior
efficacy, efficiency and robustness of our method over previous works, and it
is able to process images of high resolutions under limited hardware resources.
Real robot experiment shows that our method can also be applied to novel object
grasping robustly. The full dataset and our method are publicly available at
www.graspnet.net/transcg.
- Abstract(参考訳): 透明なオブジェクトは私たちの日常生活で一般的であり、自動生産ラインで頻繁に扱われます。
視覚に基づくロボットによる物体の把握と操作は、自動化に有用だろう。
しかし、現在の把持アルゴリズムの大部分は深度画像に大きく依存しているため失敗するが、通常の深度センサは通常、光の反射と屈折のために透明な物体の正確な深さ情報を生成することができない。
そこで本稿では,130シーンの57,715 rgb-d画像を含む透明オブジェクト深度補完のための大規模実世界データセットをコントリビュートすることで,この問題に対処した。
私たちのデータセットは、最初の大規模な実世界のデータセットであり、最も包括的なアノテーションを提供します。
クロスドメイン実験は、我々のデータセットが非常に一般化できることを示している。
さらに、RGB画像と不正確な深度マップを入力とし、精細化された深度マップを出力するエンドツーエンドの深度補完ネットワークを提案する。
実験では,従来の手法よりも優れた有効性,効率性,頑健性を示し,限られたハードウェア資源で高分解能画像を処理できることを示した。
実ロボット実験では,新しい物体の把握にロバストに応用できることを示した。
完全なデータセットとメソッドはwww.graspnet.net/transcgで公開されている。
関連論文リスト
- RFTrans: Leveraging Refractive Flow of Transparent Objects for Surface
Normal Estimation and Manipulation [50.10282876199739]
本稿では、透明物体の表面正規化と操作のためのRGB-Dに基づくRFTransを提案する。
RFNetは屈折流、物体マスク、境界を予測し、次いでF2Netは屈折流から表面の正常を推定する。
現実のロボットがタスクをつかむと、成功率は83%となり、屈折流が直接シミュレートから現実への移動を可能にすることが証明される。
論文 参考訳(メタデータ) (2023-11-21T07:19:47Z) - TransTouch: Learning Transparent Objects Depth Sensing Through Sparse
Touches [23.87056600709768]
本研究では,触覚フィードバックを持つ探索システムを用いて,疎深度ラベルを自動収集したステレオネットワークを微調整する手法を提案する。
提案手法は,特に透明物体に対して,現実世界の深度検出精度を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-09-18T01:55:17Z) - MonoGraspNet: 6-DoF Grasping with a Single RGB Image [73.96707595661867]
6-DoFロボットの把握は長続きするが未解決の問題だ。
近年の手法では3次元ネットワークを用いて深度センサから幾何的把握表現を抽出している。
我々はMonoGraspNetと呼ばれるRGBのみの6-DoFグルーピングパイプラインを提案する。
論文 参考訳(メタデータ) (2022-09-26T21:29:50Z) - TODE-Trans: Transparent Object Depth Estimation with Transformer [16.928131778902564]
トランスを用いた1つのRGB-D入力からの透明物体深度推定手法を提案する。
きめ細かい機能を強化するため、特徴融合モジュール(FFM)はコヒーレントな予測を支援するように設計されている。
論文 参考訳(メタデータ) (2022-09-18T03:04:01Z) - Domain Randomization-Enhanced Depth Simulation and Restoration for
Perceiving and Grasping Specular and Transparent Objects [28.84776177634971]
深度復元のための強力なRGBD融合ネットワークSwinDRNetを提案する。
また,ドメインランダム化強化深度シミュレーション(DREDS)によるアクティブステレオ深度システムのシミュレーションも提案する。
我々の深度復元は下流タスクの性能を効果的に向上させることを示す。
論文 参考訳(メタデータ) (2022-08-07T19:17:16Z) - Towards Domain-agnostic Depth Completion [96.67020906681175]
既存の深度補完法は、しばしば特定のスパース深度型を目標とし、タスク領域間での一般化が不十分である。
各種センサで得られたスパース/セミデンス,ノイズ,および低分解能深度マップを完備する手法を提案する。
本手法は,最先端の深度補完法に対して優れたクロスドメイン一般化能力を示す。
論文 参考訳(メタデータ) (2022-07-29T04:10:22Z) - Seeing Glass: Joint Point Cloud and Depth Completion for Transparent
Objects [16.714074893209713]
TranspareNetはジョイントポイントクラウドとディープコンプリートコンプリート方式である。
透明な物体の深さを、散らかって複雑な場面で埋めることができます。
TranspareNetは、既存の最先端のディープコンプリートメソッドを複数のデータセットで上回っている。
論文 参考訳(メタデータ) (2021-09-30T21:09:09Z) - Towards Fast and Accurate Real-World Depth Super-Resolution: Benchmark
Dataset and Baseline [48.69396457721544]
深度写像スーパーリゾリューション(SR)の研究を促進するために,RGB-D-Dという大規模データセットを構築した。
本稿では、RGB画像から高周波成分を適応的に分解して深度マップSRを導出する高速深度マップ超解像(FDSR)ベースラインを提供する。
実世界のLR深度マップでは、より明確な境界を持つより正確なHR深度マップを作成でき、ある程度の精度で深度値誤差を補正できる。
論文 参考訳(メタデータ) (2021-04-13T13:27:26Z) - RGB-D Local Implicit Function for Depth Completion of Transparent
Objects [43.238923881620494]
ロボット工学における認識方法の大部分は、RGB-Dカメラが提供する深度情報を必要とする。
標準的な3Dセンサーは、屈折と光の吸収により透明な物体の深さを捉えられない。
ノイズの多いRGB-D入力を考慮し,欠損深度を完備できる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-01T17:00:04Z) - Accurate RGB-D Salient Object Detection via Collaborative Learning [101.82654054191443]
RGB-Dサリエンシ検出は、いくつかの課題シナリオにおいて素晴らしい能力を示している。
本稿では,エッジ,深度,塩分濃度をより効率的に活用する新しい協調学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-23T04:33:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。