論文の概要: GeoNeRF: Generalizing NeRF with Geometry Priors

• arxiv url: http://arxiv.org/abs/2111.13539v1
• Date: Fri, 26 Nov 2021 15:15:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 20:10:30.121223
• Title: GeoNeRF: Generalizing NeRF with Geometry Priors
• Title（参考訳）: GeoNeRF:Geometry PriorsによるNeRFの一般化
• Authors: Mohammad Mahdi Johari, Yann Lepoittevin, Fran\c{c}ois Fleuret
• Abstract要約: ニューラルラジアンス場に基づく一般化可能なフォトリアリスティック・ノベルビュー手法GeoNeRFを提案する。 我々のアプローチは、幾何学的推論と合成という2つの主要な段階から構成される。 実験により、GeoNeRFは様々な合成および実際のデータセット上で、最先端の一般化可能なニューラルネットワークレンダリングモデルより優れていることが示された。
• 参考スコア（独自算出の注目度）: 2.578242050187029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present GeoNeRF, a generalizable photorealistic novel view synthesis method based on neural radiance fields. Our approach consists of two main stages: a geometry reasoner and a renderer. To render a novel view, the geometry reasoner first constructs cascaded cost volumes for each nearby source view. Then, using a Transformer-based attention mechanism and the cascaded cost volumes, the renderer infers geometry and appearance, and renders detailed images via classical volume rendering techniques. This architecture, in particular, allows sophisticated occlusion reasoning, gathering information from consistent source views. Moreover, our method can easily be fine-tuned on a single scene, and renders competitive results with per-scene optimized neural rendering methods with a fraction of computational cost. Experiments show that GeoNeRF outperforms state-of-the-art generalizable neural rendering models on various synthetic and real datasets. Lastly, with a slight modification to the geometry reasoner, we also propose an alternative model that adapts to RGBD images. This model directly exploits the depth information often available thanks to depth sensors. The implementation code will be publicly available.
• Abstract（参考訳）: ニューラルラジアンス場に基づく一般化可能なフォトリアリスティックな新規ビュー合成法GeoNeRFを提案する。 我々のアプローチは、幾何学的推論とレンダラーの2つの主要な段階で構成されている。 新しいビューを描画するために、geometry reasonerはまず、近くのソースビューごとにカスケードしたコストボリュームを構築する。 次に、トランスフォーマーベースのアテンション機構とカスケードされたコストボリュームを用いて、レンダラーは形状と外観を推定し、古典的なボリュームレンダリング技術を介して詳細画像をレンダリングする。 特にこのアーキテクチャは、一貫性のあるソースビューから情報を集めることで、洗練されたオクルージョン推論を可能にする。 さらに,本手法は単一シーンでの微調整が容易であり,計算コストの少ないシーンごとの最適化されたニューラルネットワークレンダリング手法と競合する結果が得られる。 実験によれば、geonerfは様々な合成データと実際のデータセットで最先端の汎用ニューラルネットワークレンダリングモデルを上回る。 最後に、幾何学的推論器に若干の修正を加えて、RGBD画像に適応する代替モデルを提案する。 このモデルは、深度センサーによってしばしば利用できる深度情報を直接活用する。 実装コードは公開される予定だ。

関連論文リスト

• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• GeoGen: Geometry-Aware Generative Modeling via Signed Distance Functions [22.077366472693395]
  単一ビューコレクションから3次元形状と画像を合成するための新しい生成手法を提案する。 ニューラルラディアンス場を用いたボリュームレンダリングを用いることで、生成した幾何学はノイズが多く、制約がないという重要な制限を継承する。 エンド・ツー・エンドで訓練された新しいSDFベースの3D生成モデルであるGeoGenを提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:00:10Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• Learning Neural Radiance Fields from Multi-View Geometry [1.1011268090482573]
  画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。 NeRFは暗黙の3D表現の分野に革命をもたらした。
  論文  参考訳（メタデータ） (2022-10-24T08:53:35Z)
• Neural Implicit Surface Reconstruction using Imaging Sonar [38.73010653104763]
  画像ソナー(FLS)を用いた物体の高密度3次元再構成手法を提案する。 シーン幾何を点雲や体積格子としてモデル化する従来の手法と比較して、幾何をニューラル暗黙関数として表現する。 我々は,実データと合成データを用いて実験を行い,本アルゴリズムは,従来よりも高精細なFLS画像から高精細な表面形状を再構成し,それに伴うメモリオーバーヘッドに悩まされることを実証した。
  論文  参考訳（メタデータ） (2022-09-17T02:23:09Z)
• Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis [35.035125537722514]
  ビュー合成のためのカスケードおよび一般化可能なニューラル放射場法であるCG-NeRFを提案する。 DTUデータセットの複数の3DシーンでCG-NeRFをトレーニングする。 CG-NeRFは、様々な合成および実データに対して、最先端の一般化可能なニューラルネットワークレンダリング手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-09T12:23:48Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。