論文の概要: Sparse 3D Reconstruction via Object-Centric Ray Sampling
- arxiv url: http://arxiv.org/abs/2309.03008v1
- Date: Wed, 6 Sep 2023 13:54:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 15:26:35.402267
- Title: Sparse 3D Reconstruction via Object-Centric Ray Sampling
- Title(参考訳): 物体中心線サンプリングによるスパース3次元再構成
- Authors: Llukman Cerkezi, Paolo Favaro
- Abstract要約: 本研究では,360度カメラリグから取得したスパースビューから3次元オブジェクトを復元する新しい手法を提案する。
我々は、表面ベースニューラル表現とトライアングルメッシュの両方を使用するハイブリッドモデルにより、オブジェクトを表現する。
私たちの研究における重要な貢献は、すべてのビューで光が共有される、神経表現のオブジェクト中心サンプリングスキームである。
- 参考スコア(独自算出の注目度): 24.660345943348247
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel method for 3D object reconstruction from a sparse set of
views captured from a 360-degree calibrated camera rig. We represent the object
surface through a hybrid model that uses both an MLP-based neural
representation and a triangle mesh. A key contribution in our work is a novel
object-centric sampling scheme of the neural representation, where rays are
shared among all views. This efficiently concentrates and reduces the number of
samples used to update the neural model at each iteration. This sampling scheme
relies on the mesh representation to ensure also that samples are
well-distributed along its normals. The rendering is then performed efficiently
by a differentiable renderer. We demonstrate that this sampling scheme results
in a more effective training of the neural representation, does not require the
additional supervision of segmentation masks, yields state of the art 3D
reconstructions, and works with sparse views on the Google's Scanned Objects,
Tank and Temples and MVMC Car datasets.
- Abstract(参考訳): 本研究では,360度キャリブレーションカメラリグから取得したスパース集合からの3次元オブジェクト再構成手法を提案する。
MLPに基づくニューラル表現とトライアングルメッシュの両方を用いたハイブリッドモデルを用いて物体表面を表現する。
私たちの研究における重要な貢献は、すべてのビューで光が共有される、神経表現のオブジェクト中心サンプリングスキームである。
これにより、各イテレーションでニューラルモデルを更新するのに使用されるサンプルの数を効率よく集中し、削減できる。
このサンプリングスキームはメッシュ表現に依存し、サンプルが正常に沿って適切に分散されていることを保証する。
そして、このレンダリングを微分可能なレンダラーで効率的に行う。
このサンプリング方式により、より効果的な神経表現のトレーニングが実現し、セグメンテーションマスクのさらなる監督を必要とせず、芸術的な3D再構成の状態が得られ、GoogleのScanned Objects, Tank and TemplesおよびMVMC Carデータセットの細かなビューで動作することを示した。
関連論文リスト
- Multi-View Mesh Reconstruction with Neural Deferred Shading [0.8514420632209809]
最先端の手法では、ニューラルサーフェス表現とニューラルシェーディングの両方を用いる。
曲面を三角形メッシュとして表現し、三角形の描画とニューラルシェーディングを中心に、微分可能なレンダリングパイプラインを構築します。
パブリックな3次元再構成データセットを用いてランタイムの評価を行い、最適化において従来のベースラインの復元精度を上回りながら、従来のベースラインの再構築精度に適合できることを示す。
論文 参考訳(メタデータ) (2022-12-08T16:29:46Z) - Flow-based GAN for 3D Point Cloud Generation from a Single Image [16.04710129379503]
本稿では,任意の解像度の点群をサンプリングするためのフローベース明示的生成モデルを継承する,ハイブリッドな明示的生成モデルを提案する。
大規模合成データセットShapeNetについて評価し,提案手法の優れた性能を示す実験結果を得た。
論文 参考訳(メタデータ) (2022-10-08T17:58:20Z) - AdaNeRF: Adaptive Sampling for Real-time Rendering of Neural Radiance
Fields [8.214695794896127]
新たなビュー合成は、スパース観測から直接神経放射場を学習することで、近年革新されている。
この新たなパラダイムによる画像のレンダリングは、ボリュームレンダリング方程式の正確な4分の1は、各光線に対して大量のサンプルを必要とするため、遅い。
本稿では,必要なサンプル点数を最大限に削減する方法を学習し,方向性を示す新しいデュアルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-07-21T05:59:13Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳(メタデータ) (2022-07-12T17:52:04Z) - Neural Volumetric Object Selection [126.04480613166194]
マルチプレーン画像(MPI)やニューラルレイディアンスフィールド(NeRF)のような,神経体積の3次元表現における物体の選択手法を提案する。
提案手法では,前景と背景の2次元ユーザを1つの視点で記述し,対象物の3次元セグメンテーションを自動的に推定する。
論文 参考訳(メタデータ) (2022-05-30T08:55:20Z) - Neural 3D Reconstruction in the Wild [86.6264706256377]
そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。
そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
論文 参考訳(メタデータ) (2022-05-25T17:59:53Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z) - Unsupervised Learning of 3D Object Categories from Videos in the Wild [75.09720013151247]
オブジェクトインスタンスの大規模なコレクションの複数のビューからモデルを学ぶことに重点を置いています。
再構成を大幅に改善するワープコンディショニングレイ埋め込み(WCR)と呼ばれる新しいニューラルネットワーク設計を提案する。
本評価は,既存のベンチマークを用いた複数の深部単眼再構成ベースラインに対する性能改善を示す。
論文 参考訳(メタデータ) (2021-03-30T17:57:01Z) - Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。
従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。
我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。
これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
論文 参考訳(メタデータ) (2020-08-31T17:10:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。