論文の概要: RGBD-Net: Predicting color and depth images for novel views synthesis

• arxiv url: http://arxiv.org/abs/2011.14398v1
• Date: Sun, 29 Nov 2020 16:42:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 08:56:56.627351
• Title: RGBD-Net: Predicting color and depth images for novel views synthesis
• Title（参考訳）: RGBD-Net:新しいビュー合成のための色と深度画像の予測
• Authors: Phong Nguyen, Animesh Karnewar, Lam Huynh, Esa Rahtu, Jiri Matas, Janne Heikkila
• Abstract要約: RGBD-Netは,対象のポーズの深度マップとカラーイメージをマルチスケールで予測するために提案される。 その結果、RGBD-Netは、これまで見つからなかったデータに対してよく一般化されていることが示唆された。
• 参考スコア（独自算出の注目度）: 46.233701784858184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the problem of novel view synthesis from an unstructured set of reference images. A new method called RGBD-Net is proposed to predict the depth map and the color images at the target pose in a multi-scale manner. The reference views are warped to the target pose to obtain multi-scale plane sweep volumes, which are then passed to our first module, a hierarchical depth regression network which predicts the depth map of the novel view. Second, a depth-aware generator network refines the warped novel views and renders the final target image. These two networks can be trained with or without depth supervision. In experimental evaluation, RGBD-Net not only produces novel views with higher quality than the previous state-of-the-art methods, but also the obtained depth maps enable reconstruction of more accurate 3D point clouds than the existing multi-view stereo methods. The results indicate that RGBD-Net generalizes well to previously unseen data.
• Abstract（参考訳）: 本稿では,非構造化参照画像からの新規ビュー合成の問題に対処する。 rgbd-netと呼ばれる新しい手法により、深度マップとターゲットのカラーイメージをマルチスケールで予測する。 参照ビューはターゲットのポーズにワープされ、マルチスケールの平面スイープボリュームを取得し、その後、新しいビューの深さマップを予測する階層的な深度回帰ネットワークである第1モジュールに渡される。 第二に、深度対応ジェネレータネットワークは、歪んだ新規ビューを洗練し、最終ターゲットイメージをレンダリングする。 これら2つのネットワークは、深度監視の有無に関わらずトレーニングすることができる。 実験評価において,RGBD-Netは従来の最先端手法よりも高品質な新規なビューを生成するだけでなく,得られた深度マップにより,既存のマルチビューステレオ方式よりも高精度な3次元点雲の再構成を可能にする。 その結果、rgbd-netは、未発見のデータに対して十分に一般化していることが示された。

関連論文リスト

• AGG-Net: Attention Guided Gated-convolutional Network for Depth Image Completion [1.8820731605557168]
  注意誘導ゲート畳み込みネットワーク(AGG-Net)に基づく深度画像補完のための新しいモデルを提案する。 符号化段階では、異なるスケールでの深度と色の特徴の融合を実現するために、AG-GConvモジュールが提案されている。 復号段階では、アテンションガイドスキップ接続(AG-SC)モジュールが提示され、再構成にあまりにも多くの深度に関係のない特徴を導入することを避ける。
  論文  参考訳（メタデータ） (2023-09-04T14:16:08Z)
• Single-View View Synthesis in the Wild with Learned Adaptive Multiplane Images [15.614631883233898]
  既存の手法では, 単分子深度推定と層状深度表現による色塗布による有望な結果が示されている。 マルチプレーン画像(MPI)表現に基づく新しい手法を提案する。 合成データと実データの両方の実験により、我々のトレーニングされたモデルは驚くほどうまく機能し、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2022-05-24T02:57:16Z)
• NVS-MonoDepth: Improving Monocular Depth Prediction with Novel View Synthesis [74.4983052902396]
  単眼深度推定を改善するために,3つの主要なステップに分割した新しいトレーニング手法を提案する。 実験により,KITTIおよびNYU-Depth-v2データセット上での最先端ないし同等の性能が得られた。
  論文  参考訳（メタデータ） (2021-12-22T12:21:08Z)
• VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
  本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。 ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。 異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-08-19T11:33:58Z)
• Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion [56.85837052421469]
  コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。 本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。 sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
  論文  参考訳（メタデータ） (2021-03-30T21:22:26Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)
• 3dDepthNet: Point Cloud Guided Depth Completion Network for Sparse Depth and Single Color Image [42.13930269841654]
  我々のネットワークは、正確かつ軽量な3次元から2次元の粗大な二重密度化設計を提供する。 KITTIデータセットの実験は、我々のネットワークがより効率的でありながら最先端の精度を実現していることを示している。
  論文  参考訳（メタデータ） (2020-03-20T10:19:32Z)
• Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
  近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。 この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。 我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
  論文  参考訳（メタデータ） (2020-01-21T21:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。