論文の概要: High-Resolution Depth Maps Based on TOF-Stereo Fusion
- arxiv url: http://arxiv.org/abs/2107.14688v1
- Date: Fri, 30 Jul 2021 15:11:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-02 14:36:22.904107
- Title: High-Resolution Depth Maps Based on TOF-Stereo Fusion
- Title(参考訳): TOF-Stereo核融合に基づく高分解能深度マップ
- Authors: Vineet Gandhi, Jan Cech and Radu Horaud
- Abstract要約: そこで本研究では,効率的な種子育成アルゴリズムに基づくTOF-ステレオ融合法を提案する。
提案アルゴリズムは2次元画像に基づくステレオアルゴリズムよりも優れていることを示す。
このアルゴリズムは、単一のCPU上でリアルタイムのパフォーマンスを示す可能性がある。
- 参考スコア(独自算出の注目度): 27.10059147107254
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The combination of range sensors with color cameras can be very useful for
robot navigation, semantic perception, manipulation, and telepresence. Several
methods of combining range- and color-data have been investigated and
successfully used in various robotic applications. Most of these systems suffer
from the problems of noise in the range-data and resolution mismatch between
the range sensor and the color cameras, since the resolution of current range
sensors is much less than the resolution of color cameras. High-resolution
depth maps can be obtained using stereo matching, but this often fails to
construct accurate depth maps of weakly/repetitively textured scenes, or if the
scene exhibits complex self-occlusions. Range sensors provide coarse depth
information regardless of presence/absence of texture. The use of a calibrated
system, composed of a time-of-flight (TOF) camera and of a stereoscopic camera
pair, allows data fusion thus overcoming the weaknesses of both individual
sensors. We propose a novel TOF-stereo fusion method based on an efficient
seed-growing algorithm which uses the TOF data projected onto the stereo image
pair as an initial set of correspondences. These initial "seeds" are then
propagated based on a Bayesian model which combines an image similarity score
with rough depth priors computed from the low-resolution range data. The
overall result is a dense and accurate depth map at the resolution of the color
cameras at hand. We show that the proposed algorithm outperforms 2D image-based
stereo algorithms and that the results are of higher resolution than
off-the-shelf color-range sensors, e.g., Kinect. Moreover, the algorithm
potentially exhibits real-time performance on a single CPU.
- Abstract(参考訳): レンジセンサーとカラーカメラの組み合わせは、ロボットのナビゲーション、意味認識、操作、テレプレゼンスに非常に有用である。
レンジデータとカラーデータを組み合わせるいくつかの手法が研究され、様々なロボット応用に成功している。
これらのシステムの多くは、現在のレンジセンサーの解像度がカラーカメラの解像度よりもはるかに少ないため、レンジセンサとカラーカメラの間のレンジデータと解像度ミスマッチのノイズに悩まされている。
高分解能深度マップはステレオマッチングを使って得られるが、弱い/繰り返しテクスチャー化されたシーンの正確な深度マップを構築するのに失敗する場合が多い。
距離センサはテクスチャの有無に関わらず粗い奥行き情報を提供する。
tof(time-of-flight)カメラとステレオカメラペアで構成される校正システムを使用することで、それぞれのセンサーの弱点を克服するデータ融合が可能になる。
ステレオ画像対に投影されたTOFデータを初期対応集合として利用する,効率的なシード成長アルゴリズムに基づく新しいTOFステレオ融合法を提案する。
これらの初期「種子」は、画像類似度スコアと低解像度レンジデータから計算された粗い深さ先行値を組み合わせたベイズモデルに基づいて伝播される。
全体的な結果は、目の前のカラーカメラの解像度の密度と正確な深度マップである。
提案手法は2次元画像に基づくステレオアルゴリズムよりも優れており,その結果は市販のカラーレンジセンサ,例えばkinectよりも高い解像度を示す。
さらに、このアルゴリズムは単一のcpu上でリアルタイム性能を示す可能性がある。
関連論文リスト
- SelfReDepth: Self-Supervised Real-Time Depth Restoration for Consumer-Grade Sensors [42.48726526726542]
SelfReDepthは、深度復元のための自己教師型ディープラーニング技術である。
複数のシーケンシャルな深度フレームとカラーデータを使用して、時間的コヒーレンスで高品質な深度ビデオを実現する。
我々の結果は、実世界のデータセット上での我々のアプローチのリアルタイムパフォーマンスを実証する。
論文 参考訳(メタデータ) (2024-06-05T15:38:02Z) - SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets [65.64958606221069]
マルチカメラシステムは、360ドル周の知覚を達成するために、しばしば自律走行に使用される。
360ドル(約3万3000円)のカメラセットは、しばしば制限または低品質のオーバーラップ領域を持ち、画像全体に対してマルチビューステレオメソッドを実現する。
重なりの重なりに多視点ステレオ結果を明示的に利用することにより、全画像の深さ推定を強化するステレオガイド深度推定法(SGDE)を提案する。
論文 参考訳(メタデータ) (2024-02-19T02:41:37Z) - Symmetric Uncertainty-Aware Feature Transmission for Depth
Super-Resolution [52.582632746409665]
カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。
本手法は最先端の手法と比較して優れた性能を実現する。
論文 参考訳(メタデータ) (2023-06-01T06:35:59Z) - FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras [37.812681878193914]
スマートフォンには、飛行時間(ToF)深度センサーと複数のカラーカメラを備えたマルチモーダルカメラシステムが搭載されている。
高精度な高解像度の深度を作り出すことは、ToFセンサーの低解像度と限られた能動照明力のために依然として困難である。
本稿では,1枚のスナップショットからカメラパラメータを推定できる高密度2D/3Dマッチングに基づく自動校正手法を提案する。
論文 参考訳(メタデータ) (2022-10-06T09:57:09Z) - Multi-Camera Collaborative Depth Prediction via Consistent Structure
Estimation [75.99435808648784]
本稿では,新しいマルチカメラ協調深度予測法を提案する。
カメラ間の構造的整合性を維持しながら、大きな重なり合う領域を必要としない。
DDADおよびNuScenesデータセットの実験結果から,本手法の優れた性能を示す。
論文 参考訳(メタデータ) (2022-10-05T03:44:34Z) - High Dynamic Range and Super-Resolution from Raw Image Bursts [52.341483902624006]
本稿では,露光ブラケット付きハンドヘルドカメラで撮影した原写真からの高解像度・高ダイナミックレンジカラー画像の再構成について紹介する。
提案アルゴリズムは,画像復元における最先端の学習手法と比較して,メモリ要求の少ない高速なアルゴリズムである。
実験では、ハンドヘルドカメラで野生で撮影された実際の写真に最大4ドル(約4,800円)の超高解像度な要素で優れた性能を示す。
論文 参考訳(メタデータ) (2022-07-29T13:31:28Z) - Robust and accurate depth estimation by fusing LiDAR and Stereo [8.85338187686374]
本稿では,LiDARとステレオカメラを融合させる高精度でロバストな手法を提案する。
この方法は、LiDARとステレオカメラの利点を完全に組み合わせている。
提案したパイプラインをKITTIベンチマークで評価した。
論文 参考訳(メタデータ) (2022-07-13T11:55:15Z) - SurroundDepth: Entangling Surrounding Views for Self-Supervised
Multi-Camera Depth Estimation [101.55622133406446]
本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。
具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。
実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-04-07T17:58:47Z) - Object Disparity [0.0]
本稿では,高密度画素差を直接検出して3次元物体距離検出を行う方法を提案する。
圧縮ネットオブジェクト分散-SSDの例は、Kittiデータセットの分散基底真理と比較した場合の精度で、効率的なオブジェクト分散検出を示すために構築された。
論文 参考訳(メタデータ) (2021-08-18T02:11:28Z) - PDC: Piecewise Depth Completion utilizing Superpixels [0.0]
現在のアプローチは、いくつかの既知の欠点のあるCNNベースのメソッドに依存することが多い。
深層学習なしで完全に機能する小説『Piecewise Depth Completion』(PDC)を提案する。
本評価では,提案した処理ステップがKITTIデータセットに与える影響と,本手法の全体的な性能に与える影響について述べる。
論文 参考訳(メタデータ) (2021-07-14T13:58:39Z) - Exploiting Raw Images for Real-Scene Super-Resolution [105.18021110372133]
本稿では,合成データと実撮影画像とのギャップを埋めるために,実シーンにおける単一画像の超解像化の問題について検討する。
本稿では,デジタルカメラの撮像過程を模倣して,よりリアルなトレーニングデータを生成する手法を提案する。
また、原画像に記録された放射情報を活用するために、2分岐畳み込みニューラルネットワークを開発した。
論文 参考訳(メタデータ) (2021-02-02T16:10:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。