論文の概要: Neural Sparse Voxel Fields

• arxiv url: http://arxiv.org/abs/2007.11571v2
• Date: Wed, 6 Jan 2021 21:04:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 22:29:25.236354
• Title: Neural Sparse Voxel Fields
• Title（参考訳）: 神経スパースボクセル場
• Authors: Lingjie Liu, Jiatao Gu, Kyaw Zaw Lin, Tat-Seng Chua, Christian Theobalt
• Abstract要約: 高速かつ高品質な自由視点レンダリングのためのニューラルシーン表現であるNeural Sparse Voxel Fields (NSVF)を紹介する。 NSVFは、各細胞の局所特性をモデル化するために、スパース・ボクセル・オクツリーで組織された、ボクセルに結合した暗黙のフィールドのセットを定義する。 提案手法は, 高い品質を達成しつつ, 推論時の最先端技術(NeRF(Mildenhall et al., 2020))よりも10倍以上高速である。
• 参考スコア（独自算出の注目度）: 151.20366604586403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Photo-realistic free-viewpoint rendering of real-world scenes using classical computer graphics techniques is challenging, because it requires the difficult step of capturing detailed appearance and geometry models. Recent studies have demonstrated promising results by learning scene representations that implicitly encode both geometry and appearance without 3D supervision. However, existing approaches in practice often show blurry renderings caused by the limited network capacity or the difficulty in finding accurate intersections of camera rays with the scene geometry. Synthesizing high-resolution imagery from these representations often requires time-consuming optical ray marching. In this work, we introduce Neural Sparse Voxel Fields (NSVF), a new neural scene representation for fast and high-quality free-viewpoint rendering. NSVF defines a set of voxel-bounded implicit fields organized in a sparse voxel octree to model local properties in each cell. We progressively learn the underlying voxel structures with a differentiable ray-marching operation from only a set of posed RGB images. With the sparse voxel octree structure, rendering novel views can be accelerated by skipping the voxels containing no relevant scene content. Our method is typically over 10 times faster than the state-of-the-art (namely, NeRF(Mildenhall et al., 2020)) at inference time while achieving higher quality results. Furthermore, by utilizing an explicit sparse voxel representation, our method can easily be applied to scene editing and scene composition. We also demonstrate several challenging tasks, including multi-scene learning, free-viewpoint rendering of a moving human, and large-scale scene rendering. Code and data are available at our website: https://github.com/facebookresearch/NSVF.
• Abstract（参考訳）: 古典的コンピュータグラフィックス技術を用いた実世界のシーンのフォトリアリスティックな自由視点レンダリングは、詳細な外観と幾何学モデルを取得するのが難しいため、難しい。 近年の研究では、3次元の監督なしに幾何学と外観の両方を暗黙的に符号化するシーン表現の学習によって有望な結果が示されている。 しかし、既存のアプローチでは、ネットワーク容量の制限や、シーン形状とカメラの正確な交点を見つけるのが難しいことによるぼやけたレンダリングがしばしば見られる。 これらの表現から高解像度画像を合成するには、しばしば時間を要する光線マーチが必要となる。 本研究では,高速かつ高品質な自由視点レンダリングのためのニューラルシーン表現であるNeural Sparse Voxel Fields (NSVF)を紹介する。 nsvfは、ばらばらなvoxel octreeで組織化されたvoxelに束縛された暗黙のフィールドの集合を定義し、各セルのローカルプロパティをモデル化する。 我々は,RGB画像の集合のみから,X線マーチング操作で基礎となるボクセル構造を段階的に学習する。 スパースなvoxel octree構造により、関連するシーンコンテンツを含まないvoxelをスキップすることで、新しいビューのレンダリングを高速化することができる。 提案手法は通常, 推定時の最先端技術(nerf(mildenhall et al., 2020)よりも10倍以上高速で, 高品質な結果が得られる。 また,明示的なスパースボクセル表現を利用することで,シーン編集やシーン構成に容易に適用できる。 また,複数シーン学習,移動人間の自由視点レンダリング,大規模シーンレンダリングなど,いくつかの課題を提示する。 コードとデータは当社のウェブサイトで入手できます。

関連論文リスト

• Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
  本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。 具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。 2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
  論文  参考訳（メタデータ） (2024-01-19T16:15:37Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Neural Rays for Occlusion-aware Image-based Rendering [108.34004858785896]
  我々は,ニューラルレイ(NeuRay)と呼ばれるニューラル表現を,マルチビューイメージを入力として,新しいビュー合成(NVS)タスクのために提案する。 NeuRayは、微調整の少ない未確認シーンの高品質なノベルビューレンダリング画像を生成することができる。
  論文  参考訳（メタデータ） (2021-07-28T15:09:40Z)
• Baking Neural Radiance Fields for Real-Time View Synthesis [41.07052395570522]
  我々は、NeRFをトレーニングし、プリコンプリートし、保存する(すなわち)方法を提案する。 「ベイク」はスパースニューラルネットワーク放射格子(snerg)と呼ばれる新しい表現である。 結果として生じるシーン表現は、細かい幾何学的詳細とビュー依存の外観をレンダリングするNeRFの能力を保持し、コンパクトであり、リアルタイムでレンダリングすることができる。
  論文  参考訳（メタデータ） (2021-03-26T17:59:52Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。