Fugu-MT 論文翻訳(概要): Domain Randomization-Enhanced Depth Simulation and Restoration for Perceiving and Grasping Specular and Transparent Objects

論文の概要: Domain Randomization-Enhanced Depth Simulation and Restoration for Perceiving and Grasping Specular and Transparent Objects

arxiv url: http://arxiv.org/abs/2208.03792v1
Date: Sun, 7 Aug 2022 19:17:16 GMT
ステータス: 処理完了
システム内更新日: 2022-08-09 13:25:20.788908
Title: Domain Randomization-Enhanced Depth Simulation and Restoration for Perceiving and Grasping Specular and Transparent Objects
Title（参考訳）: 領域ランダム化による深度シミュレーションと特異および透明物体の知覚と粒度復元
Authors: Qiyu Dai, Jiyao Zhang, Qiwei Li, Tianhao Wu, Hao Dong, Ziyuan Liu, Ping Tan, He Wang
Abstract要約: 深度復元のための強力なRGBD融合ネットワークSwinDRNetを提案する。また,ドメインランダム化強化深度シミュレーション(DREDS)によるアクティブステレオ深度システムのシミュレーションも提案する。我々の深度復元は下流タスクの性能を効果的に向上させることを示す。
参考スコア（独自算出の注目度）: 28.84776177634971
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Commercial depth sensors usually generate noisy and missing depths, especially on specular and transparent objects, which poses critical issues to downstream depth or point cloud-based tasks. To mitigate this problem, we propose a powerful RGBD fusion network, SwinDRNet, for depth restoration. We further propose Domain Randomization-Enhanced Depth Simulation (DREDS) approach to simulate an active stereo depth system using physically based rendering and generate a large-scale synthetic dataset that contains 130K photorealistic RGB images along with their simulated depths carrying realistic sensor noises. To evaluate depth restoration methods, we also curate a real-world dataset, namely STD, that captures 30 cluttered scenes composed of 50 objects with different materials from specular, transparent, to diffuse. Experiments demonstrate that the proposed DREDS dataset bridges the sim-to-real domain gap such that, trained on DREDS, our SwinDRNet can seamlessly generalize to other real depth datasets, e.g. ClearGrasp, and outperform the competing methods on depth restoration with a real-time speed. We further show that our depth restoration effectively boosts the performance of downstream tasks, including category-level pose estimation and grasping tasks. Our data and code are available at https://github.com/PKU-EPIC/DREDS
Abstract（参考訳）: 商用の深度センサーは、通常ノイズや欠損した深度を生じさせ、特に特異で透明な物体に対して発生し、下流の深度やクラウドベースのタスクに重大な問題を引き起こす。この問題を軽減するため,深度復元のための強力なRGBD融合ネットワークSwinDRNetを提案する。さらにドメインランダム化強化深度シミュレーション(DREDS)アプローチを提案し、物理ベースレンダリングを用いたアクティブステレオ深度システムのシミュレートを行い、130K光現実的RGB画像を含む大規模な合成データセットと、現実的なセンサノイズを含むシミュレーション深度を生成する。深度復元の手法を評価するために,50個のオブジェクトからなる30個の乱雑なシーンを,仕様,透明,拡散などの異なる素材で収集する実世界のデータセットSTDをキュレートした。提案するdredsデータセットは,deds上でトレーニングされたswindrnetを,cleargraspなど他の実深度データセットにシームレスに一般化し,リアルタイム速度で奥行き復元の競合手法を上回らせるように,sim-to-realドメインギャップを橋渡しする。さらに,我々の深度復元は,カテゴリーレベルのポーズ推定や把握タスクを含む下流タスクの性能を効果的に向上させることを示す。我々のデータとコードはhttps://github.com/PKU-EPIC/DREDSで入手できる。

関連論文リスト

SelfReDepth: Self-Supervised Real-Time Depth Restoration for Consumer-Grade Sensors [42.48726526726542]
SelfReDepthは、深度復元のための自己教師型ディープラーニング技術である。複数のシーケンシャルな深度フレームとカラーデータを使用して、時間的コヒーレンスで高品質な深度ビデオを実現する。我々の結果は、実世界のデータセット上での我々のアプローチのリアルタイムパフォーマンスを実証する。
論文参考訳（メタデータ） (2024-06-05T15:38:02Z)
Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文参考訳（メタデータ） (2024-04-05T17:55:33Z)
SAID-NeRF: Segmentation-AIDed NeRF for Depth Completion of Transparent Objects [7.529049797077149]
市販のRGB-Dカメラを使って透明物体の正確な深度情報を取得することは、コンピュータビジョンとロボティクスにおいてよく知られた課題である。 NeRFは学習のないアプローチであり、新しいビューの合成と形状回復に広く成功している。提案したAID-NeRF法は,透明物体とロボットグルーピングのための深度補完データセットに有意な性能を示す。
論文参考訳（メタデータ） (2024-03-28T17:28:32Z)
Background Prompting for Improved Object Depth [70.25467510077706]
単一の画像からオブジェクトの深さを推定することは、多くのビジョン、ロボティクス、グラフィックアプリケーションにとって貴重なタスクである。本稿では,入力対象画像を学習背景に適応させる,シンプルで効果的なバックグラウンドプロンプティング手法を提案する。複数の合成および実データセットの結果は、既存の様々な深度ネットワークに対して、実際の物体深度を一貫した改善を示す。
論文参考訳（メタデータ） (2023-06-08T17:59:59Z)
MonoGraspNet: 6-DoF Grasping with a Single RGB Image [73.96707595661867]
6-DoFロボットの把握は長続きするが未解決の問題だ。近年の手法では3次元ネットワークを用いて深度センサから幾何的把握表現を抽出している。我々はMonoGraspNetと呼ばれるRGBのみの6-DoFグルーピングパイプラインを提案する。
論文参考訳（メタデータ） (2022-09-26T21:29:50Z)
Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文参考訳（メタデータ） (2022-03-09T17:20:18Z)
TransCG: A Large-Scale Real-World Dataset for Transparent Object Depth Completion and Grasping [46.6058840385155]
我々は、透明な物体深度を補完する大規模な実世界のデータセットをコントリビュートする。データセットには、130の異なるシーンから57,715枚のRGB-D画像が含まれている。本稿では,RGB画像と不正確な深度マップを入力とし,精細化された深度マップを出力するエンド・ツー・エンドの深度補完ネットワークを提案する。
論文参考訳（メタデータ） (2022-02-17T06:50:20Z)
Consistent Depth Prediction under Various Illuminations using Dilated Cross Attention [1.332560004325655]
我々は,インターネット3D屋内シーンを用いて照明を手動で調整し,写真リアルなRGB写真とその対応する深度とBRDFマップを作成することを提案する。異なる照明条件下での深度予測の整合性を維持するため,これらの拡張された特徴に横断的な注意を払っている。提案手法は,Variデータセットの最先端手法との比較により評価され,実験で有意な改善が見られた。
論文参考訳（メタデータ） (2021-12-15T10:02:46Z)
Towards Fast and Accurate Real-World Depth Super-Resolution: Benchmark Dataset and Baseline [48.69396457721544]
深度写像スーパーリゾリューション(SR)の研究を促進するために,RGB-D-Dという大規模データセットを構築した。本稿では、RGB画像から高周波成分を適応的に分解して深度マップSRを導出する高速深度マップ超解像(FDSR)ベースラインを提供する。実世界のLR深度マップでは、より明確な境界を持つより正確なHR深度マップを作成でき、ある程度の精度で深度値誤差を補正できる。
論文参考訳（メタデータ） (2021-04-13T13:27:26Z)
RGB-D Local Implicit Function for Depth Completion of Transparent Objects [43.238923881620494]
ロボット工学における認識方法の大部分は、RGB-Dカメラが提供する深度情報を必要とする。標準的な3Dセンサーは、屈折と光の吸収により透明な物体の深さを捉えられない。ノイズの多いRGB-D入力を考慮し,欠損深度を完備できる新しいフレームワークを提案する。
論文参考訳（メタデータ） (2021-04-01T17:00:04Z)
Accurate RGB-D Salient Object Detection via Collaborative Learning [101.82654054191443]
RGB-Dサリエンシ検出は、いくつかの課題シナリオにおいて素晴らしい能力を示している。本稿では,エッジ,深度,塩分濃度をより効率的に活用する新しい協調学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-23T04:33:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。