論文の概要: Iterative approach to reconstructing neural disparity fields from light-field data
- arxiv url: http://arxiv.org/abs/2407.15380v1
- Date: Mon, 22 Jul 2024 05:06:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-23 16:10:42.885014
- Title: Iterative approach to reconstructing neural disparity fields from light-field data
- Title（参考訳）: 光場データによるニューラルディファレンスフィールドの再構成に関する反復的アプローチ
- Authors: Ligen Shi, Chang Liu, Xing Zhao, Jun Qiu,
- Abstract要約: 本研究では,シーンの相違を暗黙的に連続的に表現するニューラル・ディパリティ・フィールド(NDF)を提案する。
NDFは3次元シーンにおける相違点のシームレスかつ高精度な特徴付けを可能にする。
- 参考スコア（独自算出の注目度）: 7.846043927661275
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study proposes a neural disparity field (NDF) that establishes an implicit, continuous representation of scene disparity based on a neural field and an iterative approach to address the inverse problem of NDF reconstruction from light-field data. NDF enables seamless and precise characterization of disparity variations in three-dimensional scenes and can discretize disparity at any arbitrary resolution, overcoming the limitations of traditional disparity maps that are prone to sampling errors and interpolation inaccuracies. The proposed NDF network architecture utilizes hash encoding combined with multilayer perceptrons to capture detailed disparities in texture levels, thereby enhancing its ability to represent the geometric information of complex scenes. By leveraging the spatial-angular consistency inherent in light-field data, a differentiable forward model to generate a central view image from the light-field data is developed. Based on the forward model, an optimization scheme for the inverse problem of NDF reconstruction using differentiable propagation operators is established. Furthermore, an iterative solution method is adopted to reconstruct the NDF in the optimization scheme, which does not require training datasets and applies to light-field data captured by various acquisition methods. Experimental results demonstrate that high-quality NDF can be reconstructed from light-field data using the proposed method. High-resolution disparity can be effectively recovered by NDF, demonstrating its capability for the implicit, continuous representation of scene disparities.
- Abstract（参考訳）: 本研究では,光場データからNDF再構成の逆問題に対処する反復的アプローチとして,暗黙的かつ連続的なシーン不一致の表現を確立するニューラル不一致場(NDF)を提案する。
NDFは3次元のシーンにおける不均一性の変化をシームレスかつ正確に評価することができ、任意の解像度で不均一性を識別することができ、誤りや補間不正確性をサンプリングする傾向にある従来の不均一性マップの限界を克服することができる。
提案したNAFネットワークアーキテクチャは,多層パーセプトロンと組み合わせたハッシュ符号化を用いて,テクスチャレベルの詳細な相違を捉え,複雑なシーンの幾何学的情報を表現する能力を向上させる。
光フィールドデータに固有の空間角の一貫性を活用することにより、光フィールドデータから中心視画像を生成するための微分可能前方モデルを開発する。
フォワードモデルに基づいて,微分伝搬演算子を用いたNDF再構成の逆問題に対する最適化手法を確立する。
さらに、トレーニングデータセットを必要としない最適化スキームにおいて、NDFを再構成する反復解法を採用し、様々な取得方法によって取得された光フィールドデータに適用する。
実験により,提案手法を用いて光フィールドデータから高品質なNAFを再構成できることが実証された。
高分解能の相違はNDFによって効果的に回復することができ、シーンの相違を暗黙的に連続的に表現する能力を示す。
関連論文リスト
- Depth Reconstruction with Neural Signed Distance Fields in Structured Light Systems [15.603880588503355]
本稿では,3次元空間の暗黙的表現を用いた多フレーム構造光設定のための新しい深度推定手法を提案する。
我々のアプローチでは、自己教師付き微分可能レンダリングによって訓練された、ニューラルサイン付き距離場(SDF)を用いる。
論文 参考訳（メタデータ） (2024-05-20T13:24:35Z) - Light Field Diffusion for Single-View Novel View Synthesis [32.59286750410843]
NVS(Single-view novel view synthesis)は、コンピュータビジョンにおいて重要であるが困難である。
NVSの最近の進歩は、高忠実度画像を生成するのに優れた能力として、Denoising Diffusion Probabilistic Models (DDPMs)を活用している。
光電界拡散(LFD)は,従来のカメラポーズ行列への依存を超越した,条件拡散に基づく新しいアプローチである。
論文 参考訳（メタデータ） (2023-09-20T03:27:06Z) - Anti-Aliased Neural Implicit Surfaces with Encoding Level of Detail [54.03399077258403]
本稿では,高頻度幾何細部リカバリとアンチエイリアス化された新しいビューレンダリングのための効率的なニューラル表現であるLoD-NeuSを提案する。
我々の表現は、光線に沿った円錐状のフラストラム内の多面体化から空間特徴を集約する。
論文 参考訳（メタデータ） (2023-09-19T05:44:00Z) - Neural Vector Fields: Generalizing Distance Vector Fields by Codebooks
and Zero-Curl Regularization [73.3605319281966]
メッシュと暗黙的符号なし距離関数(UDF)を演算する明示的な学習プロセスを採用した新しい3D表現であるNeural Vector Fields (NVF)を提案する。
両NVFを水密化・非水密化・非水密化・非水密化・非水密化・非水密化・非水密化・非水密化・非水密化・クロスドメイン化の4つのシナリオで評価した。
論文 参考訳（メタデータ） (2023-09-04T10:42:56Z) - FFEINR: Flow Feature-Enhanced Implicit Neural Representation for
Spatio-temporal Super-Resolution [4.577685231084759]
本稿では,フローフィールドデータの超高分解能化のための特徴強調型ニューラルインシシット表現(FFEINR)を提案する。
モデル構造とサンプリング分解能の観点から、暗黙のニューラル表現を最大限に活用することができる。
FFEINRのトレーニングプロセスは、入力層に機能拡張を導入することで容易になる。
論文 参考訳（メタデータ） (2023-08-24T02:28:18Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-04-03T13:13:19Z) - RecFNO: a resolution-invariant flow and heat field reconstruction method
from sparse observations via Fourier neural operator [8.986743262828009]
本稿では,RecFNOという優れた性能とメッシュ転送性を備えたエンド・ツー・エンドの物理場再構成手法を提案する。
提案手法は, スパース観測から無限次元空間における流れと熱場への写像を学習することを目的としている。
流体力学および熱力学に関する実験により,提案手法は既存のPOD法およびCNN法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2023-02-20T07:20:22Z) - NeuralUDF: Learning Unsigned Distance Fields for Multi-view
Reconstruction of Surfaces with Arbitrary Topologies [87.06532943371575]
本稿では2次元画像からボリュームレンダリングにより任意の位相で表面を再構成する新しい手法であるNeuralUDFを提案する。
本稿では,表面をUDF(Unsigned Distance Function)として表現し,ニューラルUDF表現を学習するための新しいボリュームレンダリング手法を提案する。
論文 参考訳（メタデータ） (2022-11-25T15:21:45Z) - IntrinsicNeRF: Learning Intrinsic Neural Radiance Fields for Editable
Novel View Synthesis [90.03590032170169]
内在性ニューラルレンダリング法に内在性分解を導入した内在性ニューラルレイディアンス場(IntrinsicNeRF)を提案する。
そこで,本研究では,オブジェクト固有・ルームスケールシーンと合成・実単語データの両方を用いて,一貫した本質的な分解結果が得られることを示す。
論文 参考訳（メタデータ） (2022-10-02T22:45:11Z) - NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor
Multi-view Stereo [97.07453889070574]
本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。
提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
論文 参考訳（メタデータ） (2021-09-02T17:54:31Z) - Model-inspired Deep Learning for Light-Field Microscopy with Application
to Neuron Localization [27.247818386065894]
光フィールド顕微鏡画像を用いた高速かつ堅牢なソースの3Dローカリゼーションを実現するモデルに基づくディープラーニング手法を提案する。
これは畳み込みスパース符号化問題を効率的に解くディープネットワークを開発することによって実現される。
光場からのほ乳類ニューロンの局在化実験により,提案手法が性能,解釈性,効率の向上をもたらすことが示された。
論文 参考訳（メタデータ） (2021-03-10T16:24:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。