論文の概要: Deep Learning-based High-precision Depth Map Estimation from Missing
Viewpoints for 360 Degree Digital Holography
- arxiv url: http://arxiv.org/abs/2103.05158v1
- Date: Tue, 9 Mar 2021 00:38:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-10 15:06:53.883839
- Title: Deep Learning-based High-precision Depth Map Estimation from Missing
Viewpoints for 360 Degree Digital Holography
- Title(参考訳): 360度デジタルホログラフィのための深層学習に基づく高精度深層地図の推定
- Authors: Hakdong Kim, Heonyeong Lim, Minkyu Jee, Yurim Lee, Jisoo Jeong, Kyudam
Choi, MinSung Yoon, and Cheongwon Kim
- Abstract要約: 本研究では, 欠落した視点から高精度な深度マップを抽出する畳み込みニューラルネットワークモデルを提案する。
提案したHDD Netモデルでは,損失関数として深度マップ推定の性能向上のためにMSEを用いている。
ホログラフィック3D画像シーンを直接再構成することにより, 推定深度マップの品質を実証する実験結果を示す。
- 参考スコア(独自算出の注目度): 2.174116094271494
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a novel, convolutional neural network model to
extract highly precise depth maps from missing viewpoints, especially well
applicable to generate holographic 3D contents. The depth map is an essential
element for phase extraction which is required for synthesis of
computer-generated hologram (CGH). The proposed model called the HDD Net uses
MSE for the better performance of depth map estimation as loss function, and
utilizes the bilinear interpolation in up sampling layer with the Relu as
activation function. We design and prepare a total of 8,192 multi-view images,
each resolution of 640 by 360 for the deep learning study. The proposed model
estimates depth maps through extracting features, up sampling. For quantitative
assessment, we compare the estimated depth maps with the ground truths by using
the PSNR, ACC, and RMSE. We also compare the CGH patterns made from estimated
depth maps with ones made from ground truths. Furthermore, we demonstrate the
experimental results to test the quality of estimated depth maps through
directly reconstructing holographic 3D image scenes from the CGHs.
- Abstract(参考訳): 本稿では,新しい畳み込みニューラルネットワークモデルを提案し,特にホログラフィックな3Dコンテンツの生成に適している点から,高精度な深度マップを抽出する。
深度マップは、コンピュータ生成ホログラム(CGH)の合成に必要な位相抽出の必須要素である。
hdd netと呼ばれる提案モデルでは,損失関数として深度マップ推定の性能向上にmseを用い,reluを活性化関数としてupサンプリング層におけるバイリニア補間を利用する。
深層学習のための解像度640×360の8,192枚の多視点画像を設計・作成する。
提案モデルは,特徴抽出とサンプリングにより深度マップを推定する。
定量的評価のために,PSNR,ACC,RMSEを用いて,推定深度マップと地上の真実を比較した。
また,推定深度マップから得られたCGHパターンと地上の真実から作成したCGHパターンを比較した。
さらに,CGHからホログラフィック3D画像のシーンを直接再構成することで,推定深度マップの品質を評価する実験結果を示す。
関連論文リスト
- DepthSplat: Connecting Gaussian Splatting and Depth [90.06180236292866]
ガウススプラッティングと深さ推定を結合するDepthSplatを提案する。
まず,事前学習した単眼深度特徴を生かして,頑健な多眼深度モデルを提案する。
また,ガウス的スプラッティングは教師なし事前学習の目的として機能することを示す。
論文 参考訳(メタデータ) (2024-10-17T17:59:58Z) - Refinement of Monocular Depth Maps via Multi-View Differentiable Rendering [4.717325308876748]
本稿では,複数の画像から一貫した詳細な深度マップを生成するための新しい手法を提案する。
我々は、位相的に完全だが計量的に不正確な深度マップを生成する単眼深度推定の進歩を活用する。
提案手法は,高密度で詳細で高品質な深度マップを作成でき,また屋内シナリオの挑戦も可能であり,最先端の深度復元手法よりも優れている。
論文 参考訳(メタデータ) (2024-10-04T18:50:28Z) - Central Angle Optimization for 360-degree Holographic 3D Content [3.072340427031969]
本研究では,ディープラーニングに基づく深度マップ推定において,最適な中心角度を求める手法を提案する。
本研究では,デジタルホログラフィックコンテンツの品質と中心角度の関係を実験的に検証し,議論する。
論文 参考訳(メタデータ) (2023-11-10T05:30:43Z) - HiMODE: A Hybrid Monocular Omnidirectional Depth Estimation Model [3.5290359800552946]
HiMODE は CNN+ Transformer アーキテクチャに基づく新しい単分子全方位深度推定モデルである。
360deg単分子深度推定において,HiMODEは最先端の性能を実現することができることを示す。
論文 参考訳(メタデータ) (2022-04-11T11:11:43Z) - 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。
私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。
本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
論文 参考訳(メタデータ) (2021-12-01T00:52:42Z) - Weakly-Supervised Monocular Depth Estimationwith Resolution-Mismatched
Data [73.9872931307401]
単眼深度推定ネットワークをトレーニングするための弱教師付きフレームワークを提案する。
提案フレームワークは, 共有重量単分子深度推定ネットワークと蒸留用深度再構成ネットワークから構成される。
実験結果から,本手法は教師なし・半教師付き学習ベース方式よりも優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2021-09-23T18:04:12Z) - VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。
ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。
異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
論文 参考訳(メタデータ) (2021-08-19T11:33:58Z) - CAMERAS: Enhanced Resolution And Sanity preserving Class Activation
Mapping for image saliency [61.40511574314069]
バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。
CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
論文 参考訳(メタデータ) (2021-06-20T08:20:56Z) - DGGAN: Depth-image Guided Generative Adversarial Networks for
Disentangling RGB and Depth Images in 3D Hand Pose Estimation [33.23818997206978]
RGB画像から3Dハンドポーズを推定することは、広範囲の潜在的な応用に不可欠であるが、RGB画像からの深部情報の推測においてかなりの曖昧さのために困難である。
本稿では,DGGAN(Depth-image Guided GAN)と呼ばれる条件付き生成対向ネットワーク(GAN)モデルを提案する。
DGGANにより合成された深度マップは, 目的推定モデルの正規化に極めて有効であることを示す。
論文 参考訳(メタデータ) (2020-12-06T07:23:21Z) - Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for
3D Reconstruction [12.728154351588053]
マルチビュー画像から3次元再構成を行うための効率的なマルチビューステレオ(MVS)ネットワークを提案する。
高分解能深度を実現するために粗粒度深度推論戦略を導入する。
論文 参考訳(メタデータ) (2020-11-25T13:34:11Z) - Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。
この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。
我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
論文 参考訳(メタデータ) (2020-01-21T21:56:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。