論文の概要: AutoDepthNet: High Frame Rate Depth Map Reconstruction using Commodity Depth and RGB Cameras

• arxiv url: http://arxiv.org/abs/2305.14731v1
• Date: Wed, 24 May 2023 05:09:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 19:30:19.283060
• Title: AutoDepthNet: High Frame Rate Depth Map Reconstruction using Commodity Depth and RGB Cameras
• Title（参考訳）: autodepthnet: 商品深度とrgbカメラを用いた高フレームレート深度マップ再構成
• Authors: Peyman Gholami and Robert Xiao
• Abstract要約: 本稿では,遅延を低減し,奥行きカメラのフレームレートを向上させるために,高速かつ高精度な深度マップ再構成手法を提案する。 私たちのアプローチでは、ハイブリッドカメラのセットアップでは、コモディティデプスカメラとカラーカメラのみを使用します。 提案するネットワークであるAutoDepthNetは、高速RGBカメラからフレームをキャプチャし、それらを以前の深度フレームと組み合わせて高フレームレート深度マップのストリームを再構築するエンコーダデコーダモデルである。
• 参考スコア（独自算出の注目度）: 7.711080558364457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth cameras have found applications in diverse fields, such as computer vision, artificial intelligence, and video gaming. However, the high latency and low frame rate of existing commodity depth cameras impose limitations on their applications. We propose a fast and accurate depth map reconstruction technique to reduce latency and increase the frame rate in depth cameras. Our approach uses only a commodity depth camera and color camera in a hybrid camera setup; our prototype is implemented using a Kinect Azure depth camera at 30 fps and a high-speed RGB iPhone 11 Pro camera captured at 240 fps. The proposed network, AutoDepthNet, is an encoder-decoder model that captures frames from the high-speed RGB camera and combines them with previous depth frames to reconstruct a stream of high frame rate depth maps. On GPU, with a 480 x 270 output resolution, our system achieves an inference time of 8 ms, enabling real-time use at up to 200 fps with parallel processing. AutoDepthNet can estimate depth values with an average RMS error of 0.076, a 44.5% improvement compared to an optical flow-based comparison method. Our method can also improve depth map quality by estimating depth values for missing and invalidated pixels. The proposed method can be easily applied to existing depth cameras and facilitates the use of depth cameras in applications that require high-speed depth estimation. We also showcase the effectiveness of the framework in upsampling different sparse datasets e.g. video object segmentation. As a demonstration of our method, we integrated our framework into existing body tracking systems and demonstrated the robustness of the proposed method in such applications.
• Abstract（参考訳）: 深度カメラはコンピュータビジョン、人工知能、ビデオゲームなど様々な分野で応用されている。 しかし、既存の商品深度カメラの高レイテンシと低フレームレートは、彼らのアプリケーションに制限を課している。 本稿では,遅延を低減し,奥行きカメラのフレームレートを向上させるために,高速かつ高精度な深度マップ再構成手法を提案する。 プロトタイプではKinect Azureのデプスカメラを30fpsで、高速RGBのiPhone 11 Proカメラを240fpsで撮影しています。 提案するネットワークであるAutoDepthNetは、高速RGBカメラからフレームをキャプチャし、それらを以前の深度フレームと組み合わせて高フレームレート深度マップのストリームを再構築するエンコーダデコーダモデルである。 gpuでは、480 x 270の出力解像度で8ミリ秒の推論時間を実現し、並列処理で最大200fpsのリアルタイム使用を可能にした。 AutoDepthNet は、光学フローベース比較法と比較して、平均 RMS 誤差 0.076 で深さ値を推定できる。 また,欠損画素と無効画素の深度値を推定することにより,深度マップの品質を向上させることができる。 提案手法は, 既存の深度カメラに容易に適用でき, 高速深度推定を必要とする用途における深度カメラの利用が容易である。 ビデオオブジェクトのセグメンテーションなど、さまざまなスパースデータセットのアップサンプリングにおけるフレームワークの有効性も紹介する。 提案手法の実証として,本手法を既存の身体追跡システムに統合し,提案手法の堅牢性を実証した。

関連論文リスト

• SelfReDepth: Self-Supervised Real-Time Depth Restoration for Consumer-Grade Sensors [42.48726526726542]
  SelfReDepthは、深度復元のための自己教師型ディープラーニング技術である。 複数のシーケンシャルな深度フレームとカラーデータを使用して、時間的コヒーレンスで高品質な深度ビデオを実現する。 我々の結果は、実世界のデータセット上での我々のアプローチのリアルタイムパフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-06-05T15:38:02Z)
• An Asynchronous Linear Filter Architecture for Hybrid Event-Frame Cameras [9.69495347826584]
  本稿では,HDRビデオ再構成と空間畳み込みのための非同期線形フィルタアーキテクチャを提案する。 提案したAKFパイプラインは、絶対強度誤差(69.4%削減)と画像類似度指数(平均35.5%改善)の両方において、他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-03T12:37:59Z)
• Event-guided Multi-patch Network with Self-supervision for Non-uniform Motion Deblurring [113.96237446327795]
  本稿では,ぼやけた画像やビデオを扱うための,イベント誘導型深層階層型マルチパッチネットワークを提案する。 また、ビデオ内の複雑なぼやけに対処するために、動画に含まれる動きの手がかりを利用するイベント誘導アーキテクチャを提案する。 我々のMPNは、現在のマルチスケール手法に比べて40倍高速なランタイムでGoProとVideoDeblurringデータセットの最先端を達成しています。
  論文  参考訳（メタデータ） (2023-02-14T15:58:00Z)
• Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography [54.36608424943729]
  2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。 我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
  論文  参考訳（メタデータ） (2022-12-22T18:54:34Z)
• Multi-Camera Collaborative Depth Prediction via Consistent Structure Estimation [75.99435808648784]
  本稿では,新しいマルチカメラ協調深度予測法を提案する。 カメラ間の構造的整合性を維持しながら、大きな重なり合う領域を必要としない。 DDADおよびNuScenesデータセットの実験結果から,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-05T03:44:34Z)
• Uncertainty Guided Depth Fusion for Spike Camera [49.41822923588663]
  スパイクカメラのための単分子およびステレオ深度推定ネットワークの予測を融合させる新しい不確かさ誘導深度融合(UGDF)フレームワークを提案する。 我々のフレームワークは、ステレオスパイク深さ推定がより近い範囲でより良い結果をもたらすという事実に動機づけられている。 従来のカメラ深度推定よりもスパイク深度推定の利点を示すため、我々はCitySpike20Kというスパイク深度データセットに貢献する。
  論文  参考訳（メタデータ） (2022-08-26T13:04:01Z)
• Unsupervised Depth Completion with Calibrated Backprojection Layers [79.35651668390496]
  画像とスパース点雲から深度を推定するディープニューラルネットワークアーキテクチャを提案する。 LIDARや他のレンジセンサーから得られるビデオストリームとそれに対応するスパース点雲と、カメラの固有のキャリブレーションパラメータを用いてトレーニングする。 推論時に、トレーニングに用いるものと異なるカメラの校正を、スパース点雲と1つの画像とともにネットワークへの入力として行う。
  論文  参考訳（メタデータ） (2021-08-24T05:41:59Z)
• A Hybrid mmWave and Camera System for Long-Range Depth Imaging [6.665586494560167]
  mmWaveレーダーは、ミリ波無線周波数での高帯域幅のため、優れた奥行き分解能を提供する。 しかし、本来は角分解能が悪く、これはカメラシステムより桁違いに悪いため、独立して3Dイメージングソリューションにはならない。 本稿では,レーダーとカメラシステムの相補的な強度を組み合わせたメタモランを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:19:35Z)
• M4Depth: A motion-based approach for monocular depth estimation on video sequences [12.574454799055026]
  本稿では,RGBストリームとドローンの動き情報を用いて,搭載カメラで見る物体の距離を推定する手法を提案する。 我々のネットワークは最先端の深度推定法より優れており、この改善の主要因は動き情報の利用である。
  論文  参考訳（メタデータ） (2021-05-20T15:46:02Z)
• Real-time dense 3D Reconstruction from monocular video data captured by low-cost UAVs [0.3867363075280543]
  リアルタイム3d再構築は,ナビゲーションや緊急時のライブ評価など,多数のアプリケーションにメリットがある環境の高速密マッピングを可能にする。 ほとんどのリアルタイム対応のアプローチとは対照的に、我々のアプローチは明示的な深度センサーを必要としない。 建物周辺を斜め視で飛行する無人航空機(UAV)の自己動作を利用して、選択された画像のカメラ軌道と深度の両方を、十分な新規な内容で推定します。
  論文  参考訳（メタデータ） (2021-04-21T13:12:17Z)
• Robust Consistent Video Depth Estimation [65.53308117778361]
  本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。 本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。 従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
  論文  参考訳（メタデータ） (2020-12-10T18:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。