論文の概要: A Large-Scale Outdoor Multi-modal Dataset and Benchmark for Novel View
Synthesis and Implicit Scene Reconstruction
- arxiv url: http://arxiv.org/abs/2301.06782v1
- Date: Tue, 17 Jan 2023 10:15:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-18 14:27:51.395576
- Title: A Large-Scale Outdoor Multi-modal Dataset and Benchmark for Novel View
Synthesis and Implicit Scene Reconstruction
- Title（参考訳）: 大規模屋外マルチモーダルデータセットと新しいビュー合成と暗黙のシーン再構成のためのベンチマーク
- Authors: Chongshan Lu, Fukun Yin, Xin Chen, Tao Chen, Gang YU, Jiayuan Fan
- Abstract要約: ニューラル・ラジアンス・フィールズ(NeRF)は、単一物体のシーン再構成と新しいビュー合成において印象的な成果を上げている。
高価なデータ取得と校正コストのため、大規模なNeRF評価のための統一された屋外シーンデータセットは存在しない。
本稿では,大規模な屋外マルチモーダルデータセットであるOMMOデータセットを提案する。
- 参考スコア（独自算出の注目度）: 26.122654478946227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRF) has achieved impressive results in single
object scene reconstruction and novel view synthesis, which have been
demonstrated on many single modality and single object focused indoor scene
datasets like DTU, BMVS, and NeRF Synthetic.However, the study of NeRF on
large-scale outdoor scene reconstruction is still limited, as there is no
unified outdoor scene dataset for large-scale NeRF evaluation due to expensive
data acquisition and calibration costs. In this paper, we propose a large-scale
outdoor multi-modal dataset, OMMO dataset, containing complex land objects and
scenes with calibrated images, point clouds and prompt annotations. Meanwhile,
a new benchmark for several outdoor NeRF-based tasks is established, such as
novel view synthesis, surface reconstruction, and multi-modal NeRF. To create
the dataset, we capture and collect a large number of real fly-view videos and
select high-quality and high-resolution clips from them. Then we design a
quality review module to refine images, remove low-quality frames and
fail-to-calibrate scenes through a learning-based automatic evaluation plus
manual review. Finally, a number of volunteers are employed to add the text
descriptions for each scene and key-frame to meet the potential multi-modal
requirements in the future. Compared with existing NeRF datasets, our dataset
contains abundant real-world urban and natural scenes with various scales,
camera trajectories, and lighting conditions. Experiments show that our dataset
can benchmark most state-of-the-art NeRF methods on different tasks. We will
release the dataset and model weights very soon.
- Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は,DTU,BMVS,NeRF合成など,多数の屋内シーン・データセットを対象とする単一モダリティと単一オブジェクトに焦点を絞った,単一物体シーンの再構成と新規なビュー・シンセサイティクスにおいて印象的な成果を上げてきたが,大規模な屋外シーンの再構成に関するNeRFの研究は,高価なデータ取得と校正コストによる大規模なNeRF評価のための統一された屋外シーン・データセットが存在しないため,いまだに限られている。
本稿では,複雑なランドオブジェクトを含む大規模屋外マルチモーダルデータセットommoデータセットを提案する。
一方、新しいビュー合成、表面再構成、マルチモーダルNeRFなど、いくつかの屋外NeRFベースのタスクのための新しいベンチマークが確立されている。
データセットを作成するために、多数の実際のフライビュービデオをキャプチャして収集し、高品質で高解像度のクリップを選択します。
そして、画像の精査、低品質フレームの除去、そして学習に基づく自動評価と手動によるシーンの校正を行う品質レビューモジュールを設計する。
最後に、将来的なマルチモーダル要件を満たすために、各シーンとキーフレームのテキスト記述を追加するために、多くのボランティアが雇われている。
既存のNeRFデータセットと比較して、我々のデータセットは、様々なスケール、カメラ軌道、照明条件を備えた、豊富な実世界の都市と自然のシーンを含んでいる。
実験の結果、我々のデータセットは様々なタスクで最先端のNeRF手法をベンチマークできることがわかった。
データセットとモデルウェイトをすぐにリリースします。
関連論文リスト
- Crowd-Sourced NeRF: Collecting Data from Production Vehicles for 3D Street View Reconstruction [11.257007940120582]
実車から取得した大量のデータを利用して,NeRFモデルを用いてシーンを再構築するクラウドソースフレームワークを提案する。
我々は,データ選択,スパース3次元再構成,シーケンス外観の埋め込み,地表面深度監視,閉塞完了を統合した包括的フレームワークを提案する。
我々は、NeRFモデルを利用して3Dストリートビューを生成し、合成ビデオでドライバーを誘導する、ファーストビューナビゲーションというアプリケーションを提案する。
論文 参考訳（メタデータ） (2024-06-24T03:30:20Z) - LiveHPS: LiDAR-based Scene-level Human Pose and Shape Estimation in Free
Environment [59.320414108383055]
シーンレベルの人間のポーズと形状推定のための単一LiDARに基づく新しいアプローチであるLiveHPSを提案する。
多様な人間のポーズを伴う様々なシナリオで収集される巨大な人間の動きデータセットFreeMotionを提案する。
論文 参考訳（メタデータ） (2024-02-27T03:08:44Z) - ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。
提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。
本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
論文 参考訳（メタデータ） (2023-12-05T18:59:58Z) - ReLight My NeRF: A Dataset for Novel View Synthesis and Relighting of
Real World Objects [14.526827265012045]
本研究では,1光時(OLAT)条件下で現実世界の物体をフレーミングするReNe(Relighting NeRF)と呼ばれる新しいデータセットを提案する。
我々は、複雑な幾何学と挑戦的な材料を持つ様々な物体を描いた合計20のシーンを公開します。
各シーンには、40のOLAT条件下で50の視点から取得された2000の画像が含まれている。
論文 参考訳（メタデータ） (2023-04-20T16:43:58Z) - ViewNeRF: Unsupervised Viewpoint Estimation Using Category-Level Neural
Radiance Fields [35.89557494372891]
ニューラルラジアンス場に基づく視点推定法であるViewNeRFを導入する。
提案手法は,条件付きNeRFと視点予測器とシーンエンコーダを組み合わせた合成手法を用いて解析を行う。
本モデルでは,合成データセットと実データセットの競合結果を示す。
論文 参考訳（メタデータ） (2022-12-01T11:16:11Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳（メタデータ） (2022-09-02T17:44:50Z) - RTMV: A Ray-Traced Multi-View Synthetic Dataset for Novel View Synthesis [104.53930611219654]
約2000の複雑なシーンからレンダリングされた300k画像からなる,新しいビュー合成のための大規模合成データセットを提案する。
データセットは、新しいビュー合成のための既存の合成データセットよりも桁違いに大きい。
高品質な3Dメッシュの4つのソースを使用して、私たちのデータセットのシーンは、カメラビュー、照明、形状、材料、テクスチャの難しいバリエーションを示します。
論文 参考訳（メタデータ） (2022-05-14T13:15:32Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z) - iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。
NeRFはビュー合成のタスクに極めて有効であることが示されている。
論文 参考訳（メタデータ） (2020-12-10T18:36:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。