論文の概要: NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes

• arxiv url: http://arxiv.org/abs/2308.12967v1
• Date: Thu, 24 Aug 2023 17:59:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-25 12:46:03.600197
• Title: NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes
• Title（参考訳）: neo 360: 屋外シーンのスパースビュー合成のためのニューラルフィールド
• Authors: Muhammad Zubair Irshad, Sergey Zakharov, Katherine Liu, Vitor Guizilini, Thomas Kollar, Adrien Gaidon, Zsolt Kira, Rares Ambrus
• Abstract要約: 屋外シーンのスパースビュー合成のためのNeO 360, Neural Fieldを紹介する。 NeO 360は、単一のまたは少数のRGB画像から360degのシーンを再構成する一般化可能な方法である。 我々の表現は、Voxel-basedとBird's-eye-view (BEV)の両方の表現の長所を組み合わせたものである。
• 参考スコア（独自算出の注目度）: 59.15910989235392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent implicit neural representations have shown great results for novel view synthesis. However, existing methods require expensive per-scene optimization from many views hence limiting their application to real-world unbounded urban settings where the objects of interest or backgrounds are observed from very few views. To mitigate this challenge, we introduce a new approach called NeO 360, Neural fields for sparse view synthesis of outdoor scenes. NeO 360 is a generalizable method that reconstructs 360{\deg} scenes from a single or a few posed RGB images. The essence of our approach is in capturing the distribution of complex real-world outdoor 3D scenes and using a hybrid image-conditional triplanar representation that can be queried from any world point. Our representation combines the best of both voxel-based and bird's-eye-view (BEV) representations and is more effective and expressive than each. NeO 360's representation allows us to learn from a large collection of unbounded 3D scenes while offering generalizability to new views and novel scenes from as few as a single image during inference. We demonstrate our approach on the proposed challenging 360{\deg} unbounded dataset, called NeRDS 360, and show that NeO 360 outperforms state-of-the-art generalizable methods for novel view synthesis while also offering editing and composition capabilities. Project page: https://zubair-irshad.github.io/projects/neo360.html
• Abstract（参考訳）: 近年の暗黙的神経表現は、新しい視点合成に優れた結果を示している。 しかし、既存の手法では、多くのビューから高価なシーンごとの最適化が必要であるため、関心事や背景のオブジェクトがごく少数のビューから観察されるような、現実の無人都市環境への適用が制限される。 この課題を軽減するために、屋外シーンのスパースビュー合成のためのNeO 360ニューラルフィールドという新しいアプローチを導入する。 NeO 360は、単一のまたは少数のRGB画像から360{\deg}のシーンを再構成する一般化可能な方法である。 本手法の本質は、複雑な実世界の屋外3次元シーンの分布を捉え、任意の世界から検索できるハイブリッド画像条件三面体表現を使用することである。 我々の表現は、ボクセルベースと鳥眼ビュー(BEV)の両方の表現の最良の組み合わせであり、それぞれよりも効果的で表現力が高い。 NeO 360の表現は、未知の3Dシーンの大規模なコレクションから学び、新しいビューや新しいシーンへの一般化性を提供し、推論中に単一の画像から学ぶことができる。 我々は、NeRDS 360と呼ばれる挑戦的な360{\deg}非有界データセットに対するアプローチを実証し、NeO 360が編集と合成機能を提供しながら、新しいビュー合成のための最先端の一般化可能な手法より優れていることを示す。 プロジェクトページ: https://zubair-irshad.github.io/projects/neo360.html

関連論文リスト

• Sp2360: Sparse-view 360 Scene Reconstruction using Cascaded 2D Diffusion Priors [51.36238367193988]
  潜時拡散モデル(LDM)を用いた360度3次元シーンのスパースビュー再構成に挑戦する。 SparseSplat360は,未完成の細部を埋めたり,新しいビューをクリーンにするために,インペイントとアーティファクト除去のカスケードを利用する手法である。 提案手法は,9つの入力ビューから360度映像全体を生成する。
  論文  参考訳（メタデータ） (2024-05-26T11:01:39Z)
• DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
  テキストから3D 360$circ$のシーン生成パイプラインを提示する。 提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。 当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
  論文  参考訳（メタデータ） (2024-04-10T10:46:59Z)
• See360: Novel Panoramic View Interpolation [24.965259708297932]
  See360は、潜在空間視点推定を用いた360パノラマビューのための汎用的で効率的なフレームワークである。 提案手法は,4つのデータセットに対する任意のビューのリアルタイムレンダリングを実現するのに十分な汎用性を有することを示す。
  論文  参考訳（メタデータ） (2024-01-07T09:17:32Z)
• PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
  PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。 本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。 PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
  論文  参考訳（メタデータ） (2023-10-25T17:59:01Z)
• Autoregressive Omni-Aware Outpainting for Open-Vocabulary 360-Degree Image Generation [36.45222068699805]
  AOG-Netは、NFoVとテキストガイダンスを併用または個別に、不完全な画像を段階的に描画することで、360度画像生成のために提案される。 各自己回帰ステップにおいて、アウトペイントガイダンスを定式化するために、グローバルローカルコンディショニング機構が考案された。 室内と屋外の両方でよく使用される2つの360度画像データセットに関する総合実験により,提案手法の最先端性能が実証された。
  論文  参考訳（メタデータ） (2023-09-07T03:22:59Z)
• Non-uniform Sampling Strategies for NeRF on 360{\textdegree} images [40.02598009484401]
  本研究では,360度全方位画像に対して,NeRFを効果的に構築する2つの新しい手法を提案する。 我々は、360度画像に適合するNeRFのための2つの非一様線サンプリング手法を提案する。 提案手法は,360度画像における実世界のシーンの質を向上させる。
  論文  参考訳（メタデータ） (2022-12-07T13:48:16Z)
• NeuralLift-360: Lifting An In-the-wild 2D Photo to A 3D Object with 360{\deg} Views [77.93662205673297]
  本研究では,1枚の画像を3Dオブジェクトに持ち上げるという課題について検討する。 所定の参照画像とよく一致する360度ビューを持つ可視3Dオブジェクトを生成する能力を示す。 本稿では,深度を考慮した放射率表現を用いたニューラルLift-360という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-29T17:59:06Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。