論文の概要: RTMV: A Ray-Traced Multi-View Synthetic Dataset for Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2205.07058v1
• Date: Sat, 14 May 2022 13:15:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 15:41:28.604968
• Title: RTMV: A Ray-Traced Multi-View Synthetic Dataset for Novel View Synthesis
• Title（参考訳）: rtmv:新規ビュー合成のための線追跡多視点合成データセット
• Authors: Jonathan Tremblay, Moustafa Meshry, Alex Evans, Jan Kautz, Alexander Keller, Sameh Khamis, Charles Loop, Nathan Morrical, Koki Nagano, Towaki Takikawa, Stan Birchfield
• Abstract要約: 約2000の複雑なシーンからレンダリングされた300k画像からなる,新しいビュー合成のための大規模合成データセットを提案する。 データセットは、新しいビュー合成のための既存の合成データセットよりも桁違いに大きい。 高品質な3Dメッシュの4つのソースを使用して、私たちのデータセットのシーンは、カメラビュー、照明、形状、材料、テクスチャの難しいバリエーションを示します。
• 参考スコア（独自算出の注目度）: 104.53930611219654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a large-scale synthetic dataset for novel view synthesis consisting of ~300k images rendered from nearly 2000 complex scenes using high-quality ray tracing at high resolution (1600 x 1600 pixels). The dataset is orders of magnitude larger than existing synthetic datasets for novel view synthesis, thus providing a large unified benchmark for both training and evaluation. Using 4 distinct sources of high-quality 3D meshes, the scenes of our dataset exhibit challenging variations in camera views, lighting, shape, materials, and textures. Because our dataset is too large for existing methods to process, we propose Sparse Voxel Light Field (SVLF), an efficient voxel-based light field approach for novel view synthesis that achieves comparable performance to NeRF on synthetic data, while being an order of magnitude faster to train and two orders of magnitude faster to render. SVLF achieves this speed by relying on a sparse voxel octree, careful voxel sampling (requiring only a handful of queries per ray), and reduced network structure; as well as ground truth depth maps at training time. Our dataset is generated by NViSII, a Python-based ray tracing renderer, which is designed to be simple for non-experts to use and share, flexible and powerful through its use of scripting, and able to create high-quality and physically-based rendered images. Experiments with a subset of our dataset allow us to compare standard methods like NeRF and mip-NeRF for single-scene modeling, and pixelNeRF for category-level modeling, pointing toward the need for future improvements in this area.
• Abstract（参考訳）: 高精細(1600 x 1600ピクセル)で高画質のレイトレーシングを用いて,2000シーン近くの複雑なシーンから約300k画像がレンダリングされた,新しいビュー合成のための大規模合成データセットを提案する。 データセットは、新しいビュー合成のために既存の合成データセットよりも桁違いに大きいため、トレーニングと評価の両方のための大きな統合ベンチマークを提供する。 高品質な3Dメッシュの4つのソースを使用して、私たちのデータセットのシーンは、カメラビュー、照明、形状、材料、テクスチャの難しいバリエーションを示します。 我々のデータセットは既存の方法で処理するには大きすぎるため、新しいビュー合成のための効率的なボクセルベースの光場アプローチであるSparse Voxel Light Field (SVLF)を提案する。 SVLFは、粗いボクセルオクツリー、慎重なボクセルサンプリング(光線当たりのクエリ数が少ない)、ネットワーク構造を削減し、トレーニング時の地上の真理深度マップを頼りにすることで、この速度を達成する。 我々のデータセットは、PythonベースのレイトレーシングレンダラーであるNViSIIによって生成される。これは、非専門家がスクリプティングを使用して使用、共有し、柔軟で強力に設計され、高品質で物理的にレンダリングされた画像を作成することができる。 データセットのサブセットを用いた実験により,単一シーンモデリングのNeRFやmip-NeRF,カテゴリレベルのモデリングのPixelNeRFといった標準手法を比較し,今後の改善の必要性を指摘する。

関連論文リスト

• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
  本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。 提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:52Z)
• SPARF: Large-Scale Learning of 3D Sparse Radiance Fields from Few Input Images [62.64942825962934]
  本稿では、新しいビュー合成のための大規模ShapeNetベースの合成データセットであるSPARFを提案する。 少数の視点からスパースボクセル放射場を生成することを学習する新しいパイプライン(SuRFNet)を提案する。 SuRFNetは、少数の/1画像からの部分的なSRFと特別なSRF損失を用いて、高品質なボクセル放射場を生成することを学ぶ。
  論文  参考訳（メタデータ） (2022-12-18T14:56:22Z)
• Fast Non-Rigid Radiance Fields from Monocularized Data [66.74229489512683]
  本稿では,不規則に変形するシーンを360度内向きに合成する新しい手法を提案する。 提案手法のコアとなるのは, 空間情報と時間情報の処理を分離し, 訓練と推論を高速化する効率的な変形モジュール, 2) 高速ハッシュ符号化ニューラルラジオアンスフィールドとしての標準シーンを表す静的モジュールである。 どちらの場合も,本手法は従来の手法よりもはるかに高速で,7分未満で収束し,1K解像度でリアルタイムのフレームレートを実現するとともに,生成した新規なビューに対して高い視覚的精度が得られる。
  論文  参考訳（メタデータ） (2022-12-02T18:51:10Z)
• Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
  本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-07-10T13:47:20Z)
• Learning Neural Light Fields with Ray-Space Embedding Networks [51.88457861982689]
  我々は、コンパクトで、光線に沿った統合放射率を直接予測する新しいニューラル光場表現を提案する。 提案手法は,Stanford Light Field データセットのような,高密度の前方向きデータセットの最先端品質を実現する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:51Z)
• The Synthinel-1 dataset: a collection of high resolution synthetic overhead imagery for building segmentation [1.5293427903448025]
  我々は,大規模かつ多様な仮想環境を迅速かつ安価に生成する手法を開発した。 我々は,Synthinel-1が実世界のトレーニング画像の拡張に有用であることを示すために,いくつかのベンチマークデータセットを使用した。
  論文  参考訳（メタデータ） (2020-01-15T04:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。