論文の概要: View Synthesis with Sculpted Neural Points

• arxiv url: http://arxiv.org/abs/2205.05869v1
• Date: Thu, 12 May 2022 03:54:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-13 13:44:52.460876
• Title: View Synthesis with Sculpted Neural Points
• Title（参考訳）: sculpted neural pointsを用いたビュー合成
• Authors: Yiming Zuo, Jia Deng
• Abstract要約: 暗黙の神経表現は印象的な視覚的品質を達成したが、計算効率に欠点がある。 本稿では,点雲を用いたビュー合成を行う新しい手法を提案する。 レンダリング速度を100倍以上速くしながら、NeRFよりも視覚的品質を向上する最初のポイントベース手法である。
• 参考スコア（独自算出の注目度）: 64.40344086212279
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the task of view synthesis, which can be posed as recovering a rendering function that renders new views from a set of existing images. In many recent works such as NeRF, this rendering function is parameterized using implicit neural representations of scene geometry. Implicit neural representations have achieved impressive visual quality but have drawbacks in computational efficiency. In this work, we propose a new approach that performs view synthesis using point clouds. It is the first point-based method to achieve better visual quality than NeRF while being more than 100x faster in rendering speed. Our approach builds on existing works on differentiable point-based rendering but introduces a novel technique we call "Sculpted Neural Points (SNP)", which significantly improves the robustness to errors and holes in the reconstructed point cloud. Experiments show that on the task of view synthesis, our sculpting technique closes the gap between point-based and implicit representation-based methods. Code is available at https://github.com/princeton-vl/SNP and supplementary video at https://youtu.be/dBwCQP9uNws.
• Abstract（参考訳）: 既存の画像群から新しいビューをレンダリングするレンダリング関数を復元する、というように、ビュー合成のタスクに対処します。 NeRFのような最近の多くの作品において、このレンダリング関数はシーン幾何学の暗黙的な神経表現を用いてパラメータ化されている。 暗黙的な神経表現は印象的な視覚品質を達成しているが、計算効率の欠点がある。 本研究では,ポイントクラウドを用いたビュー合成を行う新しい手法を提案する。 レンダリング速度を100倍以上速くしながら、NeRFよりも視覚的品質を向上する最初のポイントベース手法である。 提案手法は,分割可能な点ベースレンダリングに関する既存の研究に基づいているが,我々はSNP(Sculpted Neural Points)と呼ぶ新しい手法を導入し,再構成された点群におけるエラーやホールに対する堅牢性を大幅に向上させる。 実験により,ビュー合成の課題において,我々の彫刻技術はポイントベースと暗黙の表現ベースメソッドのギャップを埋めることを示した。 コードはhttps://github.com/princeton-vl/SNPで、補足ビデオはhttps://youtu.be/dBwCQP9uNwsで入手できる。

関連論文リスト

• MomentsNeRF: Leveraging Orthogonal Moments for Few-Shot Neural Rendering [4.6786468967610055]
  ニューラルレンダリングのための新しいフレームワークであるMomentsNeRFを提案する。 当社のアーキテクチャは,マルチシーンでトレーニングを行うための新しいトランスファー学習手法を提供する。 我々のアプローチは、Gabor や Zernike のモーメントから抽出した機能をうまく活用する最初の方法です。
  論文  参考訳（メタデータ） (2024-07-02T21:02:48Z)
• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• Re-Nerfing: Improving Novel Views Synthesis through Novel Views Synthesis [80.3686833921072]
  Re-Nerfingは単純で汎用的なマルチステージデータ拡張アプローチである。 利用可能なビューでNeRFをトレーニングした後、最適化されたNeRFを使用して、元のビューに関する擬似ビューを合成します。 また、原画像と疑似ビューの両方が不確実領域を隠蔽する第2のNeRFを訓練する。
  論文  参考訳（メタデータ） (2023-12-04T18:56:08Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• NPBG++: Accelerating Neural Point-Based Graphics [14.366073496519139]
  NPBG++は、シーンフィッティング時間の少ない高レンダリングリアリズムを実現する新しいビュー合成(NVS)タスクである。 本手法は,静的シーンのマルチビュー観測と点雲を効率よく利用し,各点のニューラルディスクリプタを予測する。 比較において、提案システムは、類似した画質の画像を生成しながら、ランタイムの適合とレンダリングの観点から、従来のNVSアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2022-03-24T19:59:39Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。