論文の概要: Self-supervised Depth Denoising Using Lower- and Higher-quality RGB-D sensors

• arxiv url: http://arxiv.org/abs/2009.04776v2
• Date: Sun, 13 Sep 2020 18:45:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 03:45:59.346274
• Title: Self-supervised Depth Denoising Using Lower- and Higher-quality RGB-D sensors
• Title（参考訳）: 低・高品位rgb-dセンサを用いた自己教師付き深度推定
• Authors: Akhmedkhan Shabanov, Ilya Krotov, Nikolay Chinaev, Vsevolod Poletaev, Sergei Kozlukov, Igor Pasechnik, Bulat Yakupov, Artsiom Sanakoyeu, Vadim Lebedev, Dmitry Ulyanov
• Abstract要約: そこで本研究では,低品質センサからの奥行きを識別し,精巧化するための自己教師型深度Denoisingアプローチを提案する。 我々は、不整合低品質カメラと高画質カメラの同時RGB-Dシーケンスを記録し、時間的・空間的に配列を整列する難題を解決する。 次に、より深いニューラルネットワークを学習し、一致した高品質なデータを監視信号のソースとして使用して、低品質な深度を識別する。
• 参考スコア（独自算出の注目度）: 8.34403807284064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Consumer-level depth cameras and depth sensors embedded in mobile devices enable numerous applications, such as AR games and face identification. However, the quality of the captured depth is sometimes insufficient for 3D reconstruction, tracking and other computer vision tasks. In this paper, we propose a self-supervised depth denoising approach to denoise and refine depth coming from a low quality sensor. We record simultaneous RGB-D sequences with unzynchronized lower- and higher-quality cameras and solve a challenging problem of aligning sequences both temporally and spatially. We then learn a deep neural network to denoise the lower-quality depth using the matched higher-quality data as a source of supervision signal. We experimentally validate our method against state-of-the-art filtering-based and deep denoising techniques and show its application for 3D object reconstruction tasks where our approach leads to more detailed fused surfaces and better tracking.
• Abstract（参考訳）: モバイルデバイスに埋め込まれた消費者レベルの深度カメラと深度センサーは、ARゲームや顔認証など、数多くのアプリケーションを可能にする。 しかし、3次元復元、追跡、その他のコンピュータビジョンタスクでは、撮影深度の質が不十分な場合がある。 本稿では,低品質センサからの奥行きを識別・精細化するための自己教師型深度Denoisingアプローチを提案する。 rgb-dシークエンスを非接合低質・高画質カメラで同時記録し,時間的・空間的にシークエンスを整列させる課題を解決する。 次に,類似した高品質データを監督信号の源として用いることで,低品質の深さを推定する深層ニューラルネットワークを学習する。 本手法は,最先端のフィルタリングベースおよび深層ノイズ除去手法に対して実験的に検証し,より詳細な融合面とより良いトラッキングを実現する3次元オブジェクト再構成タスクに応用することを示す。

関連論文リスト

• SelfReDepth: Self-Supervised Real-Time Depth Restoration for Consumer-Grade Sensors [42.48726526726542]
  SelfReDepthは、深度復元のための自己教師型ディープラーニング技術である。 複数のシーケンシャルな深度フレームとカラーデータを使用して、時間的コヒーレンスで高品質な深度ビデオを実現する。 我々の結果は、実世界のデータセット上での我々のアプローチのリアルタイムパフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-06-05T15:38:02Z)
• SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets [65.64958606221069]
  マルチカメラシステムは、360ドル周の知覚を達成するために、しばしば自律走行に使用される。 360ドル(約3万3000円)のカメラセットは、しばしば制限または低品質のオーバーラップ領域を持ち、画像全体に対してマルチビューステレオメソッドを実現する。 重なりの重なりに多視点ステレオ結果を明示的に利用することにより、全画像の深さ推定を強化するステレオガイド深度推定法(SGDE)を提案する。
  論文  参考訳（メタデータ） (2024-02-19T02:41:37Z)
• Depth Map Denoising Network and Lightweight Fusion Network for Enhanced 3D Face Recognition [61.27785140017464]
  本稿では,ノイズを低減するために,DIIF(Denoising Implicit Image Function)に基づくDMDNet(Depth Map Denoising Network)を提案する。 さらに,光深度と標準核融合ネットワーク(LDNFNet)と呼ばれる強力な認識ネットワークを設計し,異なるモード間の特徴と相補的特徴を学習する。
  論文  参考訳（メタデータ） (2024-01-01T10:46:42Z)
• Multi-Object Self-Supervised Depth Denoising [0.0]
  小型でコンパクトな深度カメラは、ロボットの作業空間の正確な追跡と認識には不十分であることが多い。 本稿では,低品質センサからの深度マップを識別するために,高品位センサの深度マップを接地トラスト信号として利用する,自己教師型多目的深度デノナイズパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-09T21:48:44Z)
• Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography [54.36608424943729]
  2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。 我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
  論文  参考訳（メタデータ） (2022-12-22T18:54:34Z)
• FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras [37.812681878193914]
  スマートフォンには、飛行時間(ToF)深度センサーと複数のカラーカメラを備えたマルチモーダルカメラシステムが搭載されている。 高精度な高解像度の深度を作り出すことは、ToFセンサーの低解像度と限られた能動照明力のために依然として困難である。 本稿では,1枚のスナップショットからカメラパラメータを推定できる高密度2D/3Dマッチングに基づく自動校正手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T09:57:09Z)
• DELTAR: Depth Estimation from a Light-weight ToF Sensor and RGB Image [39.389538555506256]
  我々は,高分解能かつ高精度な深度測定機能を備えた軽量ToFセンサを実現する新しい手法であるDELTARを提案する。 DELTARの中核として、深度分布用にカスタマイズされた特徴抽出器と注意に基づくニューラルアーキテクチャを提案し、色とToF領域からの情報を効率的に融合させる。 実験により,提案手法は深度分解能と深度超解像のために設計された既存のフレームワークよりも精度が高く,コモディティレベルのRGB-Dセンサで同等の性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-09-27T13:11:37Z)
• Deep Parametric 3D Filters for Joint Video Denoising and Illumination Enhancement in Video Super Resolution [96.89588203312451]
  本稿では,Deep Parametric 3D Filters (DP3DF) と呼ばれる新しいパラメトリック表現を提案する。 DP3DFは、ローカル情報を組み込んで、単一エンコーダ/デコーダネットワークにおいて、同時復調、照明強化、SRを効率的に実現している。 また、動的残留フレームを共有バックボーンを介してDP3DFと共同で学習し、SR品質をさらに向上させる。
  論文  参考訳（メタデータ） (2022-07-05T03:57:25Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• Robust Consistent Video Depth Estimation [65.53308117778361]
  本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。 本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。 従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
  論文  参考訳（メタデータ） (2020-12-10T18:59:48Z)
• Self-Attention Dense Depth Estimation Network for Unrectified Video Sequences [6.821598757786515]
  LiDARとレーダーセンサーはリアルタイム深度推定のためのハードウェアソリューションである。 深層学習に基づく自己教師付き深度推定法は有望な結果を示した。 未修正画像に対する自己注意に基づく深度・自我移動ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-05-28T21:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。