論文の概要: NVS-MonoDepth: Improving Monocular Depth Prediction with Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2112.12577v1
• Date: Wed, 22 Dec 2021 12:21:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-25 04:26:08.936535
• Title: NVS-MonoDepth: Improving Monocular Depth Prediction with Novel View Synthesis
• Title（参考訳）: NVS-MonoDepth:新しいビュー合成による単分子深さ予測の改善
• Authors: Zuria Bauer and Zuoyue Li and Sergio Orts-Escolano and Miguel Cazorla and Marc Pollefeys and Martin R. Oswald
• Abstract要約: 単眼深度推定を改善するために,3つの主要なステップに分割した新しいトレーニング手法を提案する。 実験により,KITTIおよびNYU-Depth-v2データセット上での最先端ないし同等の性能が得られた。
• 参考スコア（独自算出の注目度）: 74.4983052902396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Building upon the recent progress in novel view synthesis, we propose its application to improve monocular depth estimation. In particular, we propose a novel training method split in three main steps. First, the prediction results of a monocular depth network are warped to an additional view point. Second, we apply an additional image synthesis network, which corrects and improves the quality of the warped RGB image. The output of this network is required to look as similar as possible to the ground-truth view by minimizing the pixel-wise RGB reconstruction error. Third, we reapply the same monocular depth estimation onto the synthesized second view point and ensure that the depth predictions are consistent with the associated ground truth depth. Experimental results prove that our method achieves state-of-the-art or comparable performance on the KITTI and NYU-Depth-v2 datasets with a lightweight and simple vanilla U-Net architecture.
• Abstract（参考訳）: 近年の新規なビュー合成の進歩を基盤として,単分子深度推定の改良手法を提案する。 特に,3つのステップに分かれた新しいトレーニング手法を提案する。 まず、単眼深度ネットワークの予測結果を追加の視点にワープする。 次に,ワープされたRGB画像の品質を補正し,改善する画像合成ネットワークを提案する。 このネットワークの出力は、画素単位のRGB再構成誤差を最小限に抑えることにより、地平線ビューと可能な限り類似している必要がある。 第3に、合成された第2の視点に同じ単分子深度推定を適用し、深度予測が関連する基底真理深度と一致していることを保証する。 実験により,KITTIおよびNYU-Depth-v2データセット上で,軽量でシンプルなVanilla U-Netアーキテクチャを用いて,最先端ないし同等の性能を実現することを確認した。

関連論文リスト

• Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian [49.21866794516328]
  3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。 これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。 本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:18:30Z)
• Single-View View Synthesis in the Wild with Learned Adaptive Multiplane Images [15.614631883233898]
  既存の手法では, 単分子深度推定と層状深度表現による色塗布による有望な結果が示されている。 マルチプレーン画像(MPI)表現に基づく新しい手法を提案する。 合成データと実データの両方の実験により、我々のトレーニングされたモデルは驚くほどうまく機能し、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2022-05-24T02:57:16Z)
• Monocular Depth Estimation Primed by Salient Point Detection and Normalized Hessian Loss [43.950140695759764]
  本稿では,単眼深度推定のための高精度で軽量なフレームワークを提案する。 深度方向のスケーリングとせん断に不変な正規化ヘッセン損失項を導入し,精度を著しく向上させることを示した。 提案手法は,NYU-Depth-v2 と KITTI の3.1-38.4 倍小さいモデルを用いて,ベースライン手法よりもパラメータ数が多い場合の最先端結果を実現する。
  論文  参考訳（メタデータ） (2021-08-25T07:51:09Z)
• VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
  本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。 ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。 異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-08-19T11:33:58Z)
• Unpaired Single-Image Depth Synthesis with cycle-consistent Wasserstein GANs [1.0499611180329802]
  実環境深度のリアルタイム推定は、様々な自律システムタスクにとって必須のモジュールである。 本研究では、生成型ニューラルネットワークの分野における最近の進歩を、教師なしの単一画像深度合成に活用する。
  論文  参考訳（メタデータ） (2021-03-31T09:43:38Z)
• Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion [56.85837052421469]
  コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。 本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。 sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
  論文  参考訳（メタデータ） (2021-03-30T21:22:26Z)
• RGBD-Net: Predicting color and depth images for novel views synthesis [46.233701784858184]
  RGBD-Netは,対象のポーズの深度マップとカラーイメージをマルチスケールで予測するために提案される。 その結果、RGBD-Netは、これまで見つからなかったデータに対してよく一般化されていることが示唆された。
  論文  参考訳（メタデータ） (2020-11-29T16:42:53Z)
• Pseudo RGB-D for Self-Improving Monocular SLAM and Depth Prediction [72.30870535815258]
  モノクロ深度予測のためのCNNは、周囲の環境の3Dマップを構築するための2つの大きく不連続なアプローチを表している。 本稿では,CNN予測深度を利用してRGB-D特徴量に基づくSLAMを行う,狭義の広義の自己改善フレームワークを提案する。 一方、より原理化された幾何学的SLAMの3次元シーン構造とカメラポーズは、新しい広義のベースライン損失により奥行きネットワークに注入される。
  論文  参考訳（メタデータ） (2020-04-22T16:31:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。