論文の概要: SelfReDepth: Self-Supervised Real-Time Depth Restoration for Consumer-Grade Sensors
- arxiv url: http://arxiv.org/abs/2406.03388v1
- Date: Wed, 5 Jun 2024 15:38:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 17:31:45.598132
- Title: SelfReDepth: Self-Supervised Real-Time Depth Restoration for Consumer-Grade Sensors
- Title（参考訳）: SelfRedeepth:コンシューマーグレードセンサの自己監督型リアルタイム深度復元
- Authors: Alexandre Duarte, Francisco Fernandes, João M. Pereira, Catarina Moreira, Jacinto C. Nascimento, Joaquim Jorge,
- Abstract要約: SelfReDepthは、深度復元のための自己教師型ディープラーニング技術である。
複数のシーケンシャルな深度フレームとカラーデータを使用して、時間的コヒーレンスで高品質な深度ビデオを実現する。
我々の結果は、実世界のデータセット上での我々のアプローチのリアルタイムパフォーマンスを実証する。
- 参考スコア（独自算出の注目度）: 42.48726526726542
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Depth maps produced by consumer-grade sensors suffer from inaccurate measurements and missing data from either system or scene-specific sources. Data-driven denoising algorithms can mitigate such problems. However, they require vast amounts of ground truth depth data. Recent research has tackled this limitation using self-supervised learning techniques, but it requires multiple RGB-D sensors. Moreover, most existing approaches focus on denoising single isolated depth maps or specific subjects of interest, highlighting a need for methods to effectively denoise depth maps in real-time dynamic environments. This paper extends state-of-the-art approaches for depth-denoising commodity depth devices, proposing SelfReDepth, a self-supervised deep learning technique for depth restoration, via denoising and hole-filling by inpainting full-depth maps captured with RGB-D sensors. The algorithm targets depth data in video streams, utilizing multiple sequential depth frames coupled with color data to achieve high-quality depth videos with temporal coherence. Finally, SelfReDepth is designed to be compatible with various RGB-D sensors and usable in real-time scenarios as a pre-processing step before applying other depth-dependent algorithms. Our results demonstrate our approach's real-time performance on real-world datasets. They show that it outperforms state-of-the-art denoising and restoration performance at over 30fps on Commercial Depth Cameras, with potential benefits for augmented and mixed-reality applications.
- Abstract（参考訳）: コンシューマグレードのセンサーによって生成された深度マップは、不正確な測定と、システムまたはシーン固有のソースからのデータ不足に悩まされている。
データ駆動型 denoising アルゴリズムはそのような問題を緩和することができる。
しかし、それらは膨大な量の真理深度データを必要とする。
近年の研究では、自己教師付き学習技術を用いてこの制限に対処しているが、複数のRGB-Dセンサーが必要である。
さらに、既存のほとんどのアプローチは、単一の分離された深度マップや特定の関心対象を識別することに焦点を当てており、リアルタイムな動的環境における深度マップを効果的に識別する手法の必要性を強調している。
本稿では,RGB-Dセンサで捉えた全深度マップに着色することで,自己教師型深度復元技術であるSelfReDepthを提案する。
このアルゴリズムは、カラーデータと組み合わせた複数のシーケンシャルな深度フレームを利用して、時間的コヒーレンスで高品質な深度ビデオを実現する。
最後に、SelfReDepthは様々なRGB-Dセンサーと互換性があり、他の深度依存アルゴリズムを適用する前に、事前処理ステップとしてリアルタイムシナリオで使用できるように設計されている。
我々の結果は、実世界のデータセット上での我々のアプローチのリアルタイムパフォーマンスを実証する。
それらは、商用深度カメラの30fps以上で最先端のデノベーションと復元性能を上回り、拡張現実と混成現実のアプリケーションにとって潜在的に利点があることを示している。
関連論文リスト
- Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳（メタデータ） (2024-04-05T17:55:33Z) - RDFC-GAN: RGB-Depth Fusion CycleGAN for Indoor Depth Completion [28.634851863097953]
本稿では,RDFC-GANという2分岐のエンドツーエンド核融合ネットワークを提案する。
RGBと不完全な深度画像のペアを入力として、密集した深度マップを予測する。
第1分枝は、マンハッタン世界の仮定に固執することにより、エンコーダ・デコーダ構造を用いる。
もう一方のブランチでは、RGBイメージを詳細なテクスチャ化された深度マップに変換するのに適したRGB深度融合CycleGANが適用されている。
論文 参考訳（メタデータ） (2023-06-06T11:03:05Z) - Domain Randomization-Enhanced Depth Simulation and Restoration for
Perceiving and Grasping Specular and Transparent Objects [28.84776177634971]
深度復元のための強力なRGBD融合ネットワークSwinDRNetを提案する。
また,ドメインランダム化強化深度シミュレーション(DREDS)によるアクティブステレオ深度システムのシミュレーションも提案する。
我々の深度復元は下流タスクの性能を効果的に向上させることを示す。
論文 参考訳（メタデータ） (2022-08-07T19:17:16Z) - DeepRM: Deep Recurrent Matching for 6D Pose Refinement [77.34726150561087]
DeepRMは、6Dポーズ改善のための新しいリカレントネットワークアーキテクチャである。
アーキテクチャにはLSTMユニットが組み込まれ、各改善ステップを通じて情報を伝達する。
DeepRMは、2つの広く受け入れられている課題データセットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-05-28T16:18:08Z) - Joint Learning of Salient Object Detection, Depth Estimation and Contour
Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。
具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。
実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文 参考訳（メタデータ） (2022-03-09T17:20:18Z) - Gated2Gated: Self-Supervised Depth Estimation from Gated Images [22.415893281441928]
ゲーテッドカメラは、高解像度の3D深度でLiDARセンサーをスキャンする代替品として有望だ。
そこで本研究では,ゲート強度プロファイルと時間的一貫性をトレーニング信号として用いた完全自己教師型深度推定手法を提案する。
論文 参考訳（メタデータ） (2021-12-04T19:47:38Z) - Towards Fast and Accurate Real-World Depth Super-Resolution: Benchmark
Dataset and Baseline [48.69396457721544]
深度写像スーパーリゾリューション(SR)の研究を促進するために,RGB-D-Dという大規模データセットを構築した。
本稿では、RGB画像から高周波成分を適応的に分解して深度マップSRを導出する高速深度マップ超解像(FDSR)ベースラインを提供する。
実世界のLR深度マップでは、より明確な境界を持つより正確なHR深度マップを作成でき、ある程度の精度で深度値誤差を補正できる。
論文 参考訳（メタデータ） (2021-04-13T13:27:26Z) - Sparse Auxiliary Networks for Unified Monocular Depth Prediction and
Completion [56.85837052421469]
コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。
本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。
sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
論文 参考訳（メタデータ） (2021-03-30T21:22:26Z) - Self-supervised Depth Denoising Using Lower- and Higher-quality RGB-D
sensors [8.34403807284064]
そこで本研究では,低品質センサからの奥行きを識別し,精巧化するための自己教師型深度Denoisingアプローチを提案する。
我々は、不整合低品質カメラと高画質カメラの同時RGB-Dシーケンスを記録し、時間的・空間的に配列を整列する難題を解決する。
次に、より深いニューラルネットワークを学習し、一致した高品質なデータを監視信号のソースとして使用して、低品質な深度を識別する。
論文 参考訳（メタデータ） (2020-09-10T11:18:11Z) - Depth Map Estimation of Dynamic Scenes Using Prior Depth Information [14.03714478207425]
本稿では,並列に収集した画像から深度マップを推定するアルゴリズムと,動的シーンに対する予め測定した深度マップを提案する。
我々のゴールは、大きな計算コストを伴わずに、能動深度センサと計算との深度取得のバランスをとることである。
提案手法では, 標準ラップトップコンピュータ上で, 最大30FPSの高密度深度マップを, 類似の手法よりも桁違いに高速に取得できる。
論文 参考訳（メタデータ） (2020-02-02T01:04:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。