論文の概要: Progressively-connected Light Field Network for Efficient View Synthesis

• arxiv url: http://arxiv.org/abs/2207.04465v1
• Date: Sun, 10 Jul 2022 13:47:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 06:31:22.291180
• Title: Progressively-connected Light Field Network for Efficient View Synthesis
• Title（参考訳）: プログレッシブコネクテッド・ライトフィールドネットワークによる効率的なビュー合成
• Authors: Peng Wang, Yuan Liu, Guying Lin, Jiatao Gu, Lingjie Liu, Taku Komura, Wenping Wang
• Abstract要約: 本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
• 参考スコア（独自算出の注目度）: 69.29043048775802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a Progressively-connected Light Field network (ProLiF), for the novel view synthesis of complex forward-facing scenes. ProLiF encodes a 4D light field, which allows rendering a large batch of rays in one training step for image- or patch-level losses. Directly learning a neural light field from images has difficulty in rendering multi-view consistent images due to its unawareness of the underlying 3D geometry. To address this problem, we propose a progressive training scheme and regularization losses to infer the underlying geometry during training, both of which enforce the multi-view consistency and thus greatly improves the rendering quality. Experiments demonstrate that our method is able to achieve significantly better rendering quality than the vanilla neural light fields and comparable results to NeRF-like rendering methods on the challenging LLFF dataset and Shiny Object dataset. Moreover, we demonstrate better compatibility with LPIPS loss to achieve robustness to varying light conditions and CLIP loss to control the rendering style of the scene. Project page: https://totoro97.github.io/projects/prolif.
• Abstract（参考訳）: 本稿では,複雑な前方シーンの新たな視点合成を行うためのプログレッシブ接続型光フィールドネットワーク(prolif)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。 画像からニューラルライトフィールドを直接学習することは、基礎となる3次元幾何学の無意識のため、多視点一貫した画像をレンダリングするのは難しい。 そこで本研究では,多視点一貫性を実現するとともに,レンダリング品質が大幅に向上する,トレーニング中の基本形状を推定するプログレッシブトレーニングスキームと正規化損失を提案する。 実験により,本手法はバニラニューラルライトフィールドよりはるかに優れたレンダリング品質を達成でき,llffデータセットや光沢オブジェクトデータセットにおけるnerfライクなレンダリング手法と同等の結果が得られることを示した。 さらに,LPIPSロスとの整合性を向上し,様々な光条件に対する堅牢性,シーンのレンダリングスタイルを制御するCLIPロスを実現する。 プロジェクトページ: https://totoro97.github.io/projects/prolif。

関連論文リスト

• PBIR-NIE: Glossy Object Capture under Non-Distant Lighting [30.325872237020395]
  グロッシーオブジェクトは自然光下での多視点入力画像から3次元再構成を行う上で重要な課題となる。 PBIR-NIEは, 物体の形状, 材料特性, 周囲の照明を均等に捉えるために設計された逆レンダリングフレームワークである。
  論文  参考訳（メタデータ） (2024-08-13T13:26:24Z)
• Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing [21.498078188364566]
  フォトリアリスティックなリライトを実現するために,新しい微分可能な点ベースレンダリングフレームワークを提案する。 提案したフレームワークは、メッシュベースのグラフィクスパイプラインを、編集、トレース、リライトを可能にするポイントベースのパイプラインで革新する可能性を示している。
  論文  参考訳（メタデータ） (2023-11-27T18:07:58Z)
• Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering [84.37776381343662]
  Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。 我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。 私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
  論文  参考訳（メタデータ） (2023-04-20T04:05:22Z)
• Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement [78.48648360358193]
  画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。 我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。 ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
  論文  参考訳（メタデータ） (2023-03-03T17:14:44Z)
• Learning Neural Radiance Fields from Multi-View Geometry [1.1011268090482573]
  画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。 NeRFは暗黙の3D表現の分野に革命をもたらした。
  論文  参考訳（メタデータ） (2022-10-24T08:53:35Z)
• RTMV: A Ray-Traced Multi-View Synthetic Dataset for Novel View Synthesis [104.53930611219654]
  約2000の複雑なシーンからレンダリングされた300k画像からなる,新しいビュー合成のための大規模合成データセットを提案する。 データセットは、新しいビュー合成のための既存の合成データセットよりも桁違いに大きい。 高品質な3Dメッシュの4つのソースを使用して、私たちのデータセットのシーンは、カメラビュー、照明、形状、材料、テクスチャの難しいバリエーションを示します。
  論文  参考訳（メタデータ） (2022-05-14T13:15:32Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• PX-NET: Simple and Efficient Pixel-Wise Training of Photometric Stereo Networks [26.958763133729846]
  光を反射する物体の正確な3D再構成は、コンピュータビジョンにおいて非常に難しい課題だ。 本稿では,グローバルにレンダリングされた画像のトレーニングデータ(観測マップ)を,画素単位の独立なデータに置き換えることで,正規予測のための新たな画素単位のトレーニング手順を提案する。 我々のネットワークであるPX-NETは、合成データセット上の他のピクセルワイズ手法と比較して最先端の性能を実現している。
  論文  参考訳（メタデータ） (2020-08-11T18:03:13Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。