論文の概要: Geo-NI: Geometry-aware Neural Interpolation for Light Field Rendering

• arxiv url: http://arxiv.org/abs/2206.09736v1
• Date: Mon, 20 Jun 2022 12:25:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 19:22:07.957407
• Title: Geo-NI: Geometry-aware Neural Interpolation for Light Field Rendering
• Title（参考訳）: geo-ni:光フィールドレンダリングのためのジオメトリアウェアニューラル補間
• Authors: Gaochang Wu and Yuemei Zhou and Yebin Liu and Lu Fang and Tianyou Chai
• Abstract要約: 光場レンダリングのためのGeo-NI(Geometry-aware Neural Interpolation)フレームワークを提案する。 NIとDIBRの優位性を組み合わせることで、提案したGeo-NIは、大きな差異でビューをレンダリングすることができる。
• 参考スコア（独自算出の注目度）: 57.775678643512435
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we present a Geometry-aware Neural Interpolation (Geo-NI) framework for light field rendering. Previous learning-based approaches either rely on the capability of neural networks to perform direct interpolation, which we dubbed Neural Interpolation (NI), or explore scene geometry for novel view synthesis, also known as Depth Image-Based Rendering (DIBR). Instead, we incorporate the ideas behind these two kinds of approaches by launching the NI with a novel DIBR pipeline. Specifically, the proposed Geo-NI first performs NI using input light field sheared by a set of depth hypotheses. Then the DIBR is implemented by assigning the sheared light fields with a novel reconstruction cost volume according to the reconstruction quality under different depth hypotheses. The reconstruction cost is interpreted as a blending weight to render the final output light field by blending the reconstructed light fields along the dimension of depth hypothesis. By combining the superiorities of NI and DIBR, the proposed Geo-NI is able to render views with large disparity with the help of scene geometry while also reconstruct non-Lambertian effect when depth is prone to be ambiguous. Extensive experiments on various datasets demonstrate the superior performance of the proposed geometry-aware light field rendering framework.
• Abstract（参考訳）: 本稿では,光場レンダリングのためのジオアウェアニューラル補間(geo-ni)フレームワークを提案する。 従来の学習ベースのアプローチでは、ニューラルネットワークが直接補間を行う能力に頼るか、ニューラル補間(NI)と呼ぶか、あるいはDepth Image-Based Rendering(DIBR)として知られる新しいビュー合成のためのシーン幾何学を探索する。 代わりに、新しいDIBRパイプラインでNIを起動することで、これらの2つのアプローチの背後にあるアイデアを取り入れます。 特に,geo-ni はまず,一連の深さ仮説によってせん断された入力光場を用いて ni を実行する。 そして、異なる深さ仮説の下で、復元品質に応じて新しい復元コストボリュームでせん断光フィールドを割り当ててdibrを実現する。 再構成コストは、深さ仮説の次元に沿って再構成された光場をブレンドすることにより最終的な出力光フィールドをレンダリングするためのブレンディングウェイトとして解釈される。 niとdibrの優位性を組み合わせることで、ジオニはシーン幾何の助けを借りて大きな異質なビューを描画できると同時に、深さが曖昧になりやすい場合の非ランベルト効果を再構築することができる。 様々なデータセットに対する大規模な実験は、提案した幾何対応光場レンダリングフレームワークの優れた性能を示す。

関連論文リスト

• AniSDF: Fused-Granularity Neural Surfaces with Anisotropic Encoding for High-Fidelity 3D Reconstruction [55.69271635843385]
  AniSDF(AniSDF)は,高忠実度3次元再構成のための物理に基づく符号化による融合粒度ニューラルサーフェスを学習する新しいアプローチである。 本手法は, 幾何再構成と新規ビュー合成の両面において, SDF法の品質を飛躍的に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T03:10:38Z)
• Depth Reconstruction with Neural Signed Distance Fields in Structured Light Systems [15.603880588503355]
  本稿では,3次元空間の暗黙的表現を用いた多フレーム構造光設定のための新しい深度推定手法を提案する。 我々のアプローチでは、自己教師付き微分可能レンダリングによって訓練された、ニューラルサイン付き距離場(SDF)を用いる。
  論文  参考訳（メタデータ） (2024-05-20T13:24:35Z)
• Improved Neural Radiance Fields Using Pseudo-depth and Fusion [18.088617888326123]
  マルチスケール符号化ボリュームの構築とNeRFモデルへのマルチスケール幾何情報の提供を提案する。 シーン内の被写体表面と描画深度をより正確に近づけるために, 同時に深度予測と放射場再構成を行うことを提案する。
  論文  参考訳（メタデータ） (2023-07-27T17:01:01Z)
• NeuS-PIR: Learning Relightable Neural Surface using Pre-Integrated Rendering [23.482941494283978]
  本稿では,マルチビュー画像やビデオから可照性神経表面を復元するNeuS-PIR法を提案する。 NeRFや離散メッシュに基づく手法とは異なり,提案手法は暗黙のニューラルサーフェス表現を用いて高品質な幾何学を再構築する。 本手法は,現代のグラフィックスエンジンとシームレスに統合可能なリライトなどの高度なアプリケーションを実現する。
  論文  参考訳（メタデータ） (2023-06-13T09:02:57Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• NeILF++: Inter-Reflectable Light Fields for Geometry and Material Estimation [36.09503501647977]
  我々は静的なシーンの照明を1つのニューラルインシデント光場(NeILF)と1つのニューラルラディアンス場(NeRF)として定式化する。 提案手法は, 幾何再構成の品質, 材料推定精度, 新規なビューレンダリングの忠実度の観点から, 最先端の結果が得られる。
  論文  参考訳（メタデータ） (2023-03-30T04:59:48Z)
• MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction [72.05649682685197]
  最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。 これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。 近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
  論文  参考訳（メタデータ） (2022-06-01T17:58:15Z)
• PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for Single-Image Novel View Synthesis [52.546998369121354]
  シングルビューRGB画像からニューラル放射場を再構成する学習フレームワークPVSeRFを提案する。 本稿では,明示的な幾何学的推論を取り入れ,放射場予測のための画素アラインな特徴と組み合わせることを提案する。 このような幾何学的特徴の導入は、外観と幾何学の絡み合いを改善するのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-02-10T07:39:47Z)
• Light Field Reconstruction Using Convolutional Network on EPI and Extended Applications [78.63280020581662]
  スパースビューからの光場再構成のための新しい畳み込みニューラルネットワーク(CNN)ベースのフレームワークを開発した。 最先端のアルゴリズムと比較して,提案フレームワークの高性能と堅牢性を実証する。
  論文  参考訳（メタデータ） (2021-03-24T08:16:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。