論文の概要: Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth
with RGB Fusion in Challenging Environments
- arxiv url: http://arxiv.org/abs/2112.03750v1
- Date: Tue, 7 Dec 2021 15:04:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-08 13:35:25.883321
- Title: Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth
with RGB Fusion in Challenging Environments
- Title(参考訳): Wild ToFu: 密集環境におけるRGB融合による間接飛行時間深度の範囲と品質の向上
- Authors: HyunJun Jung, Nikolas Brasch, Ales Leonardis, Nassir Navab, Benjamin
Busam
- Abstract要約: 本稿では,ノイズの多い生のI-ToF信号とRGB画像を用いた学習に基づくエンド・ツー・エンドの深度予測ネットワークを提案する。
最終深度マップでは,ベースラインアプローチと比較して40%以上のRMSE改善が見られた。
- 参考スコア(独自算出の注目度): 56.306567220448684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Indirect Time-of-Flight (I-ToF) imaging is a widespread way of depth
estimation for mobile devices due to its small size and affordable price.
Previous works have mainly focused on quality improvement for I-ToF imaging
especially curing the effect of Multi Path Interference (MPI). These
investigations are typically done in specifically constrained scenarios at
close distance, indoors and under little ambient light. Surprisingly little
work has investigated I-ToF quality improvement in real-life scenarios where
strong ambient light and far distances pose difficulties due to an extreme
amount of induced shot noise and signal sparsity, caused by the attenuation
with limited sensor power and light scattering. In this work, we propose a new
learning based end-to-end depth prediction network which takes noisy raw I-ToF
signals as well as an RGB image and fuses their latent representation based on
a multi step approach involving both implicit and explicit alignment to predict
a high quality long range depth map aligned to the RGB viewpoint. We test our
approach on challenging real-world scenes and show more than 40% RMSE
improvement on the final depth map compared to the baseline approach.
- Abstract(参考訳): 間接飛行時間(I-ToF)イメージングは、小型で安価なため、モバイルデバイスの奥行き推定方法として広く使われている。
従来はI-ToF画像の品質向上,特にMPI(Multiple Path Interference)の効果の検証に重点を置いてきた。
これらの調査は通常、近距離、屋内、ほとんど環境光の下で、特に制約されたシナリオで行われる。
驚くべきことに、強い環境光と遠距離が、限られたセンサパワーと光散乱による減衰による誘導ショットノイズと信号間隔の極端な量による困難を引き起こす実生活シナリオにおいて、I-ToFの品質改善を調査する研究はほとんどない。
そこで本研究では,RGB画像と同様にノイズの多い生のI-ToF信号を取り込み,暗黙的および明示的なアライメントを含む多段階的アプローチにより,RGB視点に整合した高品質な長距離深度マップを推定する,学習に基づくエンドツーエンドの深度予測ネットワークを提案する。
我々は,現実のシーンに挑戦するアプローチを試行し,ベースラインアプローチと比較して最終深度マップ上で40%以上のRMSE改善を示す。
関連論文リスト
- Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging
Scenarios [103.72094710263656]
本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。
本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。
得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
論文 参考訳(メタデータ) (2024-02-19T04:39:16Z) - Attentive Multimodal Fusion for Optical and Scene Flow [24.08052492109655]
既存の方法は通常、RGB画像のみに依存するか、後段のモダリティを融合させる。
本稿では,センサモード間の早期情報融合を可能にするFusionRAFTという新しいディープニューラルネットワーク手法を提案する。
提案手法は,RGB画像に影響を及ぼすノイズや低照度条件の存在下での堅牢性の向上を示す。
論文 参考訳(メタデータ) (2023-07-28T04:36:07Z) - Symmetric Uncertainty-Aware Feature Transmission for Depth
Super-Resolution [52.582632746409665]
カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。
本手法は最先端の手法と比較して優れた性能を実現する。
論文 参考訳(メタデータ) (2023-06-01T06:35:59Z) - FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras [37.812681878193914]
スマートフォンには、飛行時間(ToF)深度センサーと複数のカラーカメラを備えたマルチモーダルカメラシステムが搭載されている。
高精度な高解像度の深度を作り出すことは、ToFセンサーの低解像度と限られた能動照明力のために依然として困難である。
本稿では,1枚のスナップショットからカメラパラメータを推定できる高密度2D/3Dマッチングに基づく自動校正手法を提案する。
論文 参考訳(メタデータ) (2022-10-06T09:57:09Z) - Uncertainty Guided Depth Fusion for Spike Camera [49.41822923588663]
スパイクカメラのための単分子およびステレオ深度推定ネットワークの予測を融合させる新しい不確かさ誘導深度融合(UGDF)フレームワークを提案する。
我々のフレームワークは、ステレオスパイク深さ推定がより近い範囲でより良い結果をもたらすという事実に動機づけられている。
従来のカメラ深度推定よりもスパイク深度推定の利点を示すため、我々はCitySpike20Kというスパイク深度データセットに貢献する。
論文 参考訳(メタデータ) (2022-08-26T13:04:01Z) - End-to-end Learning for Joint Depth and Image Reconstruction from
Diffracted Rotation [10.896567381206715]
回折回転から深度を学習する新しいエンド・ツー・エンド学習手法を提案する。
提案手法は, 単分子深度推定のタスクにおいて既存の手法よりもはるかに少ない複雑なモデルと少ないトレーニングデータを必要とする。
論文 参考訳(メタデータ) (2022-04-14T16:14:37Z) - Joint Learning of Salient Object Detection, Depth Estimation and Contour
Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。
具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。
実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文 参考訳(メタデータ) (2022-03-09T17:20:18Z) - Progressive Depth Learning for Single Image Dehazing [56.71963910162241]
既存の脱湿法は、しばしば深度を無視し、より重いヘイズが視界を乱す遠くの地域で失敗する。
画像深度と伝送マップを反復的に推定するディープエンドツーエンドモデルを提案する。
私たちのアプローチは、画像深度と伝送マップの内部関係を明示的にモデリングすることから利益を得ます。
論文 参考訳(メタデータ) (2021-02-21T05:24:18Z) - Extreme Low-Light Imaging with Multi-granulation Cooperative Networks [18.438827277749525]
低照度画像は、信号対雑音比の低さ、複雑な画像内容、および極低照度の撮影シーンの多様性により、暗くノイズのように見えるため、低照度画像は困難である。
極低照度条件下での撮像品質向上のための多くの手法が提案されているが、良好な結果を得ることは困難である。
論文 参考訳(メタデータ) (2020-05-16T14:26:06Z) - Learning Wavefront Coding for Extended Depth of Field Imaging [4.199844472131922]
拡張深度画像(EDoF)は難題である。
回折光学素子による波面符号化を応用したEDoFの計算画像化手法を提案する。
深部3Dシーンやブロードバンド画像など,さまざまなシナリオにおいて,最小限の成果が得られた。
論文 参考訳(メタデータ) (2019-12-31T17:00:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。