論文の概要: RetrievalFuse: Neural 3D Scene Reconstruction with a Database

• arxiv url: http://arxiv.org/abs/2104.00024v1
• Date: Wed, 31 Mar 2021 18:00:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 13:44:32.992737
• Title: RetrievalFuse: Neural 3D Scene Reconstruction with a Database
• Title（参考訳）: RetrievalFuse: データベースによるニューラル3次元シーン再構成
• Authors: Yawar Siddiqui, Justus Thies, Fangchang Ma, Qi Shan, Matthias Nie{\ss}ner, Angela Dai
• Abstract要約: トレーニングデータベースからシーンジオメトリを直接活用する新しい手法を紹介します。 まず,シーンデータベースから上位k個のボリュームチャンクを検索して構築した3次元シーンの初期推定値の合成を学習する。 これらの候補は最終シーン生成に洗練され、候補から最も一貫性のある幾何集合を効果的に選択できる注意に基づく改良がなされる。 本研究では,3次元超解像と疎点雲表面再構成のためのデータベースを用いて,神経シーンの再構成を実証する。
• 参考スコア（独自算出の注目度）: 34.44425679892233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D reconstruction of large scenes is a challenging problem due to the high-complexity nature of the solution space, in particular for generative neural networks. In contrast to traditional generative learned models which encode the full generative process into a neural network and can struggle with maintaining local details at the scene level, we introduce a new method that directly leverages scene geometry from the training database. First, we learn to synthesize an initial estimate for a 3D scene, constructed by retrieving a top-k set of volumetric chunks from the scene database. These candidates are then refined to a final scene generation with an attention-based refinement that can effectively select the most consistent set of geometry from the candidates and combine them together to create an output scene, facilitating transfer of coherent structures and local detail from train scene geometry. We demonstrate our neural scene reconstruction with a database for the tasks of 3D super resolution and surface reconstruction from sparse point clouds, showing that our approach enables generation of more coherent, accurate 3D scenes, improving on average by over 8% in IoU over state-of-the-art scene reconstruction.
• Abstract（参考訳）: 大規模シーンの3次元再構成は、解空間、特に生成型ニューラルネットワークの複雑度が高いため、難しい問題である。 従来の生成過程をニューラルネットワークにエンコードし、シーンレベルでの局所的な詳細保持に苦慮する従来の生成学習モデルとは対照的に、トレーニングデータベースからシーン幾何学を直接活用する新しい手法を提案する。 まず,シーンデータベースから上位k個のボリュームチャンクを検索して構築した3次元シーンの初期推定値の合成を学習する。 これらの候補は、候補から最も一貫した幾何集合を効果的に選択し、それらを組み合わせて出力シーンを作り、列車シーンからコヒーレントな構造や局所的な詳細を移動できるようにする、注意に基づく改良によって最終シーン生成に洗練される。 我々は,3次元超解像とスパース点雲による表面再構成のデータベースを用いて,我々のニューラルシーン再構成を実証し,現状のシーン再構成よりも平均8%以上の精度で,より一貫性のある正確な3次元シーンを生成することができることを示した。

関連論文リスト

• Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting [75.7154104065613]
  本稿では,3次元融合過程を学習するために,教師の蒸留と自己学習によって訓練された新しい深度補完モデルを提案する。 また,地上の真理幾何に基づくシーン生成手法のベンチマーク手法も導入した。
  論文  参考訳（メタデータ） (2024-04-30T17:59:40Z)
• Total-Decom: Decomposed 3D Scene Reconstruction with Minimal Interaction [51.3632308129838]
  人間のインタラクションを最小限に抑えた3次元再構成法であるTotal-Decomを提案する。 提案手法は,Segment Anything Model (SAM) とハイブリッド型暗黙的なニューラルサーフェス表現をシームレスに統合し,メッシュベースの領域成長技術を用いて正確な3次元オブジェクト分解を行う。 提案手法をベンチマークデータセット上で広範囲に評価し,アニメーションやシーン編集などの下流アプリケーションの可能性を示す。
  論文  参考訳（メタデータ） (2024-03-28T11:12:33Z)
• GSDF: 3DGS Meets SDF for Improved Rendering and Reconstruction [20.232177350064735]
  フレキシブルで効率的な3次元ガウス分割表現とニューラルサイン付き距離場(SDF)の利点を組み合わせた新しいデュアルブランチアーキテクチャを提案する。 我々のデザインがより正確で詳細な表面再構成の可能性を解き放つ多様なシーンを示す。
  論文  参考訳（メタデータ） (2024-03-25T17:22:11Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Neural Kernel Surface Reconstruction [80.51581494300423]
  本稿では,大規模でスパースでノイズの多い点雲から3次元暗示面を再構成する新しい手法を提案する。 我々のアプローチは、最近導入されたNeural Kernel Fields表現に基づいている。
  論文  参考訳（メタデータ） (2023-05-31T06:25:18Z)
• Neural Radiance Field Codebooks [53.01356339021285]
  我々は、オブジェクト指向表現を学習するためのスケーラブルな方法であるNeural Radiance Field Codebooks (NRC)を紹介する。 NRCは、ボリューム再構成によってデコードされたオブジェクトコードの辞書を使用して、新しいビューからシーンを再構築することを学ぶ。 NRC表現は、THORのオブジェクトナビゲーションによく対応し、2Dおよび3D表現学習法を3.1%の成功率で上回ることを示す。
  論文  参考訳（メタデータ） (2023-01-10T18:03:48Z)
• Coordinates Are NOT Lonely -- Codebook Prior Helps Implicit Neural 3D Representations [29.756718435405983]
  暗黙的な3D表現は、表面やシーンの再構築や新しいビュー合成において、印象的な成果を上げている。 ニューラル・レージアンス・フィールド(Neural Radiance Field、NeRF)とその変種のような既存のアプローチは、通常、密度の高い入力ビューを必要とする。 暗黙的な3次元表現のための座標モデルCoCo-INRを提案する。
  論文  参考訳（メタデータ） (2022-10-20T11:13:50Z)
• MonoNeuralFusion: Online Monocular Neural 3D Reconstruction with Geometric Priors [41.228064348608264]
  本稿では,モノクロ映像からの高忠実度オンライン3次元シーン再構築のためのボリュームレンダリングを備えたニューラル暗黙シーン表現を提案する。 きめ細かい再現のために、我々の重要な洞察は、幾何的先行をニューラル暗黙のシーン表現とニューラルボリュームレンダリングの両方に組み込むことである。 MonoNeuralFusionは、量的にも質的にも、ずっと優れた完全かつきめ細かい再構築結果を生成する。
  論文  参考訳（メタデータ） (2022-09-30T00:44:26Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。