論文の概要: ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2409.08926v1
- Date: Fri, 13 Sep 2024 15:44:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 15:59:55.437416
- Title: ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation
- Title（参考訳）: ClearDepth:ロボットマニピュレーションのための透明物体の立体知覚の強化
- Authors: Kaixin Bai, Huajian Zeng, Lei Zhang, Yiwen Liu, Hongli Xu, Zhaopeng Chen, Jianwei Zhang,
- Abstract要約: 我々は透明物体の立体深度回復のための視覚変換器に基づくアルゴリズムを開発した。
提案手法は,効率的なデータ生成のためのパラメータ整合,ドメイン適応,物理的に現実的なSim2Realシミュレーションを含む。
実世界のシナリオにおけるSim2Realの例外的な一般化性を示す実験結果を得た。
- 参考スコア（独自算出の注目度）: 18.140839442955485
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transparent object depth perception poses a challenge in everyday life and logistics, primarily due to the inability of standard 3D sensors to accurately capture depth on transparent or reflective surfaces. This limitation significantly affects depth map and point cloud-reliant applications, especially in robotic manipulation. We developed a vision transformer-based algorithm for stereo depth recovery of transparent objects. This approach is complemented by an innovative feature post-fusion module, which enhances the accuracy of depth recovery by structural features in images. To address the high costs associated with dataset collection for stereo camera-based perception of transparent objects, our method incorporates a parameter-aligned, domain-adaptive, and physically realistic Sim2Real simulation for efficient data generation, accelerated by AI algorithm. Our experimental results demonstrate the model's exceptional Sim2Real generalizability in real-world scenarios, enabling precise depth mapping of transparent objects to assist in robotic manipulation. Project details are available at https://sites.google.com/view/cleardepth/ .
- Abstract（参考訳）: 透明物体の深度知覚は、通常3Dセンサーが透明表面や反射面の深度を正確に捉えることができないため、日常生活や物流において課題となる。
この制限は、特にロボット操作において、深度マップと点雲耐性の応用に大きな影響を及ぼす。
我々は透明物体の立体深度回復のための視覚変換器に基づくアルゴリズムを開発した。
このアプローチは、画像の構造的特徴による深度回復の精度を高める革新的な機能ポストフュージョンモジュールによって補完される。
ステレオカメラによる透明物体の認識のためのデータセット収集に係わる高コストに対処するため,AIアルゴリズムにより高速化された効率的なデータ生成のためのパラメータ整合型,ドメイン適応型,物理的に現実的なSim2Realシミュレーションを組み込んだ。
実世界のシナリオにおけるSim2Realの例外的な一般化性を実証し、透明物体の精密な深度マッピングによりロボット操作を支援することを可能にした。
プロジェクトの詳細はhttps://sites.google.com/view/cleardepth/で確認できる。
関連論文リスト
- Virtually Enriched NYU Depth V2 Dataset for Monocular Depth Estimation: Do We Need Artificial Augmentation? [61.234412062595155]
我々は、単眼深度推定のために設計された、ニューヨーク深度v2データセットの事実上拡張版であるANYUを紹介する。
仮想世界の完全な3Dシーンを利用して人工データセットを生成する、よく知られたアプローチとは対照的に、ANYUはバーチャルリアリティーオブジェクトのRGB-D表現を取り入れて作成された。
ANYUは,アーキテクチャがかなり異なるディープニューラルネットワークの単眼深度推定性能と一般化を改善したことを示す。
論文 参考訳（メタデータ） (2024-04-15T05:44:03Z) - SAID-NeRF: Segmentation-AIDed NeRF for Depth Completion of Transparent Objects [7.529049797077149]
市販のRGB-Dカメラを使って透明物体の正確な深度情報を取得することは、コンピュータビジョンとロボティクスにおいてよく知られた課題である。
NeRFは学習のないアプローチであり、新しいビューの合成と形状回復に広く成功している。
提案したAID-NeRF法は,透明物体とロボットグルーピングのための深度補完データセットに有意な性能を示す。
論文 参考訳（メタデータ） (2024-03-28T17:28:32Z) - RFTrans: Leveraging Refractive Flow of Transparent Objects for Surface
Normal Estimation and Manipulation [50.10282876199739]
本稿では、透明物体の表面正規化と操作のためのRGB-Dに基づくRFTransを提案する。
RFNetは屈折流、物体マスク、境界を予測し、次いでF2Netは屈折流から表面の正常を推定する。
現実のロボットがタスクをつかむと、成功率は83%となり、屈折流が直接シミュレートから現実への移動を可能にすることが証明される。
論文 参考訳（メタデータ） (2023-11-21T07:19:47Z) - TransTouch: Learning Transparent Objects Depth Sensing Through Sparse
Touches [23.87056600709768]
本研究では,触覚フィードバックを持つ探索システムを用いて,疎深度ラベルを自動収集したステレオネットワークを微調整する手法を提案する。
提案手法は,特に透明物体に対して,現実世界の深度検出精度を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-09-18T01:55:17Z) - Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。
既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文 参考訳（メタデータ） (2023-08-21T10:38:32Z) - MVTrans: Multi-View Perception of Transparent Objects [29.851395075937255]
我々は、RGB-Dセンサから信頼できない深度マップを除外し、ステレオ法を拡張した。
提案手法であるMVTransは,複数の知覚能力を持つエンドツーエンドのマルチビューアーキテクチャである。
我々は、新しい手続き型フォトリアリスティックデータセット生成パイプラインを構築し、大規模透明なオブジェクト検出データセットを作成する。
論文 参考訳（メタデータ） (2023-02-22T22:45:28Z) - TODE-Trans: Transparent Object Depth Estimation with Transformer [16.928131778902564]
トランスを用いた1つのRGB-D入力からの透明物体深度推定手法を提案する。
きめ細かい機能を強化するため、特徴融合モジュール(FFM)はコヒーレントな予測を支援するように設計されている。
論文 参考訳（メタデータ） (2022-09-18T03:04:01Z) - Joint Learning of Salient Object Detection, Depth Estimation and Contour
Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。
具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。
実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文 参考訳（メタデータ） (2022-03-09T17:20:18Z) - TransCG: A Large-Scale Real-World Dataset for Transparent Object Depth
Completion and Grasping [46.6058840385155]
我々は、透明な物体深度を補完する大規模な実世界のデータセットをコントリビュートする。
データセットには、130の異なるシーンから57,715枚のRGB-D画像が含まれている。
本稿では,RGB画像と不正確な深度マップを入力とし,精細化された深度マップを出力するエンド・ツー・エンドの深度補完ネットワークを提案する。
論文 参考訳（メタデータ） (2022-02-17T06:50:20Z) - Transferable Active Grasping and Real Embodied Dataset [48.887567134129306]
ハンドマウント型RGB-Dカメラを用いて把握可能な視点を探索する方法を示す。
現実的な3段階の移動可能な能動把握パイプラインを開発し、未確認のクラッタシーンに適応する。
本研究のパイプラインでは,カテゴリ非関連行動の把握と確保において,スパース報酬問題を克服するために,新しいマスク誘導報酬を提案する。
論文 参考訳（メタデータ） (2020-04-28T08:15:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。