論文の概要: Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth with RGB Fusion in Challenging Environments

• arxiv url: http://arxiv.org/abs/2112.03750v1
• Date: Tue, 7 Dec 2021 15:04:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 13:35:25.883321
• Title: Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth with RGB Fusion in Challenging Environments
• Title（参考訳）: Wild ToFu: 密集環境におけるRGB融合による間接飛行時間深度の範囲と品質の向上
• Authors: HyunJun Jung, Nikolas Brasch, Ales Leonardis, Nassir Navab, Benjamin Busam
• Abstract要約: 本稿では,ノイズの多い生のI-ToF信号とRGB画像を用いた学習に基づくエンド・ツー・エンドの深度予測ネットワークを提案する。 最終深度マップでは,ベースラインアプローチと比較して40%以上のRMSE改善が見られた。
• 参考スコア（独自算出の注目度）: 56.306567220448684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Indirect Time-of-Flight (I-ToF) imaging is a widespread way of depth estimation for mobile devices due to its small size and affordable price. Previous works have mainly focused on quality improvement for I-ToF imaging especially curing the effect of Multi Path Interference (MPI). These investigations are typically done in specifically constrained scenarios at close distance, indoors and under little ambient light. Surprisingly little work has investigated I-ToF quality improvement in real-life scenarios where strong ambient light and far distances pose difficulties due to an extreme amount of induced shot noise and signal sparsity, caused by the attenuation with limited sensor power and light scattering. In this work, we propose a new learning based end-to-end depth prediction network which takes noisy raw I-ToF signals as well as an RGB image and fuses their latent representation based on a multi step approach involving both implicit and explicit alignment to predict a high quality long range depth map aligned to the RGB viewpoint. We test our approach on challenging real-world scenes and show more than 40% RMSE improvement on the final depth map compared to the baseline approach.
• Abstract（参考訳）: 間接飛行時間(I-ToF)イメージングは、小型で安価なため、モバイルデバイスの奥行き推定方法として広く使われている。 従来はI-ToF画像の品質向上,特にMPI(Multiple Path Interference)の効果の検証に重点を置いてきた。 これらの調査は通常、近距離、屋内、ほとんど環境光の下で、特に制約されたシナリオで行われる。 驚くべきことに、強い環境光と遠距離が、限られたセンサパワーと光散乱による減衰による誘導ショットノイズと信号間隔の極端な量による困難を引き起こす実生活シナリオにおいて、I-ToFの品質改善を調査する研究はほとんどない。 そこで本研究では,RGB画像と同様にノイズの多い生のI-ToF信号を取り込み,暗黙的および明示的なアライメントを含む多段階的アプローチにより,RGB視点に整合した高品質な長距離深度マップを推定する,学習に基づくエンドツーエンドの深度予測ネットワークを提案する。 我々は,現実のシーンに挑戦するアプローチを試行し,ベースラインアプローチと比較して最終深度マップ上で40%以上のRMSE改善を示す。

関連論文リスト

• Adaptive Stereo Depth Estimation with Multi-Spectral Images Across All Lighting Conditions [58.88917836512819]
  本稿では,立体深度推定を取り入れた新しいフレームワークを提案し,正確な幾何学的制約を強制する。 照明の劣化がステレオマッチングに与える影響を軽減するために,劣化マスキングを導入する。 提案手法は,Multi-Spectral Stereo(MS2)データセット上でのSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-11-06T03:30:46Z)
• Retinex-RAWMamba: Bridging Demosaicing and Denoising for Low-Light RAW Image Enhancement [71.13353154514418]
  低照度画像の強化、特に生ドメインからsRGBドメインへのマッピングのようなクロスドメインタスクは、依然として大きな課題である。 RAWMambaと呼ばれる新しいMambaスキャニング機構を提案する。 また,Retinex の先行したRetinex Decomposition Module (RDM) も提案する。
  論文  参考訳（メタデータ） (2024-09-11T06:12:03Z)
• RGB Guided ToF Imaging System: A Survey of Deep Learning-based Methods [30.34690112905212]
  RGBカメラをToFイメージングシステムに統合することは、現実世界を知覚するための重要な技術となっている。 本稿では, ネットワーク構造, 学習戦略, 評価指標, ベンチマークデータセット, 客観的関数など, RGBガイドによるToFイメージングに関する研究を包括的にレビューする。
  論文  参考訳（メタデータ） (2024-05-16T17:59:58Z)
• Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging Scenarios [103.72094710263656]
  本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。 本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。 得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:39:16Z)
• Attentive Multimodal Fusion for Optical and Scene Flow [24.08052492109655]
  既存の方法は通常、RGB画像のみに依存するか、後段のモダリティを融合させる。 本稿では,センサモード間の早期情報融合を可能にするFusionRAFTという新しいディープニューラルネットワーク手法を提案する。 提案手法は,RGB画像に影響を及ぼすノイズや低照度条件の存在下での堅牢性の向上を示す。
  論文  参考訳（メタデータ） (2023-07-28T04:36:07Z)
• Symmetric Uncertainty-Aware Feature Transmission for Depth Super-Resolution [52.582632746409665]
  カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。 本手法は最先端の手法と比較して優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-06-01T06:35:59Z)
• FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras [37.812681878193914]
  スマートフォンには、飛行時間(ToF)深度センサーと複数のカラーカメラを備えたマルチモーダルカメラシステムが搭載されている。 高精度な高解像度の深度を作り出すことは、ToFセンサーの低解像度と限られた能動照明力のために依然として困難である。 本稿では,1枚のスナップショットからカメラパラメータを推定できる高密度2D/3Dマッチングに基づく自動校正手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T09:57:09Z)
• End-to-end Learning for Joint Depth and Image Reconstruction from Diffracted Rotation [10.896567381206715]
  回折回転から深度を学習する新しいエンド・ツー・エンド学習手法を提案する。 提案手法は, 単分子深度推定のタスクにおいて既存の手法よりもはるかに少ない複雑なモデルと少ないトレーニングデータを必要とする。
  論文  参考訳（メタデータ） (2022-04-14T16:14:37Z)
• Progressive Depth Learning for Single Image Dehazing [56.71963910162241]
  既存の脱湿法は、しばしば深度を無視し、より重いヘイズが視界を乱す遠くの地域で失敗する。 画像深度と伝送マップを反復的に推定するディープエンドツーエンドモデルを提案する。 私たちのアプローチは、画像深度と伝送マップの内部関係を明示的にモデリングすることから利益を得ます。
  論文  参考訳（メタデータ） (2021-02-21T05:24:18Z)
• Learning Wavefront Coding for Extended Depth of Field Imaging [4.199844472131922]
  拡張深度画像(EDoF)は難題である。 回折光学素子による波面符号化を応用したEDoFの計算画像化手法を提案する。 深部3Dシーンやブロードバンド画像など,さまざまなシナリオにおいて,最小限の成果が得られた。
  論文  参考訳（メタデータ） (2019-12-31T17:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。