論文の概要: FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras
- arxiv url: http://arxiv.org/abs/2210.02785v1
- Date: Thu, 6 Oct 2022 09:57:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 16:56:04.749029
- Title: FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras
- Title（参考訳）: FloatingFusion:ToFと画像安定化ステレオカメラの奥行き
- Authors: Andreas Meuleman, Hakyeong Kim, James Tompkin, Min H. Kim
- Abstract要約: スマートフォンには、飛行時間(ToF)深度センサーと複数のカラーカメラを備えたマルチモーダルカメラシステムが搭載されている。
高精度な高解像度の深度を作り出すことは、ToFセンサーの低解像度と限られた能動照明力のために依然として困難である。
本稿では,1枚のスナップショットからカメラパラメータを推定できる高密度2D/3Dマッチングに基づく自動校正手法を提案する。
- 参考スコア（独自算出の注目度）: 37.812681878193914
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-accuracy per-pixel depth is vital for computational photography, so
smartphones now have multimodal camera systems with time-of-flight (ToF) depth
sensors and multiple color cameras. However, producing accurate high-resolution
depth is still challenging due to the low resolution and limited active
illumination power of ToF sensors. Fusing RGB stereo and ToF information is a
promising direction to overcome these issues, but a key problem remains: to
provide high-quality 2D RGB images, the main color sensor's lens is optically
stabilized, resulting in an unknown pose for the floating lens that breaks the
geometric relationships between the multimodal image sensors. Leveraging ToF
depth estimates and a wide-angle RGB camera, we design an automatic calibration
technique based on dense 2D/3D matching that can estimate camera extrinsic,
intrinsic, and distortion parameters of a stabilized main RGB sensor from a
single snapshot. This lets us fuse stereo and ToF cues via a correlation
volume. For fusion, we apply deep learning via a real-world training dataset
with depth supervision estimated by a neural reconstruction method. For
evaluation, we acquire a test dataset using a commercial high-power depth
camera and show that our approach achieves higher accuracy than existing
baselines.
- Abstract（参考訳）: そのため、スマートフォンには現在、マルチモーダルカメラシステムと、タイム・オブ・フライ(ToF)深度センサーと複数のカラーカメラが搭載されている。
しかし、tofセンサの解像度が低く、能動照明能力が限られているため、正確な高分解能深度の生成は依然として困難である。
高品質な2D RGB画像を提供するために、メインカラーセンサーのレンズは光学的に安定しており、結果として、マルチモーダルイメージセンサー間の幾何学的関係を壊す浮動小数点レンズのポーズが未知になる。
tof深度推定と広角rgbカメラを用いて,1つのスナップショットから安定化主rgbセンサの遠近性,内在性,歪みパラメータを推定可能な,高密度2d/3dマッチングに基づく自動校正手法を設計した。
これにより、ステレオとtofのキューを相関ボリュームで融合できます。
融合には,ニューラルネットワークを用いて深度を推定した実世界の訓練データセットを用いて深度学習を適用する。
評価のために,市販の高出力深度カメラを用いてテストデータセットを取得し,既存のベースラインよりも精度が高いことを示す。
関連論文リスト
- RGB Guided ToF Imaging System: A Survey of Deep Learning-based Methods [30.34690112905212]
RGBカメラをToFイメージングシステムに統合することは、現実世界を知覚するための重要な技術となっている。
本稿では, ネットワーク構造, 学習戦略, 評価指標, ベンチマークデータセット, 客観的関数など, RGBガイドによるToFイメージングに関する研究を包括的にレビューする。
論文 参考訳（メタデータ） (2024-05-16T17:59:58Z) - Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a
Light-Weight ToF Sensor [58.305341034419136]
単眼カメラと軽量ToFセンサを備えた初の高密度SLAMシステムを提案する。
本稿では,RGBカメラと軽量ToFセンサの両方の信号のレンダリングをサポートするマルチモーダル暗黙のシーン表現を提案する。
実験により,本システムは軽量なToFセンサの信号をうまく利用し,競合的な結果が得られることが示された。
論文 参考訳（メタデータ） (2023-08-28T07:56:13Z) - Symmetric Uncertainty-Aware Feature Transmission for Depth
Super-Resolution [52.582632746409665]
カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。
本手法は最先端の手法と比較して優れた性能を実現する。
論文 参考訳（メタデータ） (2023-06-01T06:35:59Z) - Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized
Photography [54.36608424943729]
2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。
我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
論文 参考訳（メタデータ） (2022-12-22T18:54:34Z) - DELTAR: Depth Estimation from a Light-weight ToF Sensor and RGB Image [39.389538555506256]
我々は,高分解能かつ高精度な深度測定機能を備えた軽量ToFセンサを実現する新しい手法であるDELTARを提案する。
DELTARの中核として、深度分布用にカスタマイズされた特徴抽出器と注意に基づくニューラルアーキテクチャを提案し、色とToF領域からの情報を効率的に融合させる。
実験により,提案手法は深度分解能と深度超解像のために設計された既存のフレームワークよりも精度が高く,コモディティレベルのRGB-Dセンサで同等の性能が得られることが示された。
論文 参考訳（メタデータ） (2022-09-27T13:11:37Z) - Joint Learning of Salient Object Detection, Depth Estimation and Contour
Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。
具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。
実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文 参考訳（メタデータ） (2022-03-09T17:20:18Z) - Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth
with RGB Fusion in Challenging Environments [56.306567220448684]
本稿では,ノイズの多い生のI-ToF信号とRGB画像を用いた学習に基づくエンド・ツー・エンドの深度予測ネットワークを提案する。
最終深度マップでは,ベースラインアプローチと比較して40%以上のRMSE改善が見られた。
論文 参考訳（メタデータ） (2021-12-07T15:04:14Z) - The Implicit Values of A Good Hand Shake: Handheld Multi-Frame Neural
Depth Refinement [25.637162990928676]
ビューフィンディング中に高密度のマイクロベースラインパララックスキューとキロピクセルのLiDAR深度推定を組み合わせられるかを示す。
提案手法は, 高分解能深度推定をテーブルトップ撮影の「ポイント・アンド・シュート」に応用し, 追加ハードウェア, 人工手の動き, ボタンの押圧以外のユーザインタラクションを必要としない。
論文 参考訳（メタデータ） (2021-11-26T20:24:07Z) - High-Resolution Depth Maps Based on TOF-Stereo Fusion [27.10059147107254]
そこで本研究では,効率的な種子育成アルゴリズムに基づくTOF-ステレオ融合法を提案する。
提案アルゴリズムは2次元画像に基づくステレオアルゴリズムよりも優れていることを示す。
このアルゴリズムは、単一のCPU上でリアルタイムのパフォーマンスを示す可能性がある。
論文 参考訳（メタデータ） (2021-07-30T15:11:42Z) - Self-supervised Depth Denoising Using Lower- and Higher-quality RGB-D
sensors [8.34403807284064]
そこで本研究では,低品質センサからの奥行きを識別し,精巧化するための自己教師型深度Denoisingアプローチを提案する。
我々は、不整合低品質カメラと高画質カメラの同時RGB-Dシーケンスを記録し、時間的・空間的に配列を整列する難題を解決する。
次に、より深いニューラルネットワークを学習し、一致した高品質なデータを監視信号のソースとして使用して、低品質な深度を識別する。
論文 参考訳（メタデータ） (2020-09-10T11:18:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。