論文の概要: Den-SOFT: Dense Space-Oriented Light Field DataseT for 6-DOF Immersive Experience
- arxiv url: http://arxiv.org/abs/2403.09973v1
- Date: Fri, 15 Mar 2024 02:39:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 18:48:40.273470
- Title: Den-SOFT: Dense Space-Oriented Light Field DataseT for 6-DOF Immersive Experience
- Title（参考訳）: Den-SOFT:6自由度没入実験のための高密度空間配向光場データセット
- Authors: Xiaohang Yu, Zhengxian Yang, Shi Pan, Yuqi Han, Haoxiang Wang, Jun Zhang, Shi Yan, Borong Lin, Lei Yang, Tao Yu, Lu Fang,
- Abstract要約: 我々は,移動式マルチカメラ大空間高密度光場キャプチャシステムを構築した。
本研究の目的は,一般的な3次元シーン再構築アルゴリズムの開発に貢献することである。
収集されたデータセットは、既存のデータセットよりもはるかに密度が高い。
- 参考スコア（独自算出の注目度）: 28.651514326042648
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We have built a custom mobile multi-camera large-space dense light field capture system, which provides a series of high-quality and sufficiently dense light field images for various scenarios. Our aim is to contribute to the development of popular 3D scene reconstruction algorithms such as IBRnet, NeRF, and 3D Gaussian splitting. More importantly, the collected dataset, which is much denser than existing datasets, may also inspire space-oriented light field reconstruction, which is potentially different from object-centric 3D reconstruction, for immersive VR/AR experiences. We utilized a total of 40 GoPro 10 cameras, capturing images of 5k resolution. The number of photos captured for each scene is no less than 1000, and the average density (view number within a unit sphere) is 134.68. It is also worth noting that our system is capable of efficiently capturing large outdoor scenes. Addressing the current lack of large-space and dense light field datasets, we made efforts to include elements such as sky, reflections, lights and shadows that are of interest to researchers in the field of 3D reconstruction during the data capture process. Finally, we validated the effectiveness of our provided dataset on three popular algorithms and also integrated the reconstructed 3DGS results into the Unity engine, demonstrating the potential of utilizing our datasets to enhance the realism of virtual reality (VR) and create feasible interactive spaces. The dataset is available at our project website.
- Abstract（参考訳）: 我々は,様々なシナリオに対して,高品質で十分に高密度な光フィールド画像を提供する,カスタムな移動体マルチカメラ大空間高密度光フィールドキャプチャシステムを構築した。
本研究の目的は, IBRnet, NeRF, 3次元ガウス分割などの3次元シーン再構成アルゴリズムの開発に寄与することである。
さらに重要なのは、既存のデータセットよりもはるかに密集した収集データセットが、没入型VR/AR体験のために、オブジェクト中心の3D再構成とは異なる、空間指向の光場再構成を誘発する可能性があることだ。
40台のGoPro 10カメラを使って、5K解像度の画像を撮影しました。
各シーンで撮影された写真数は1000枚以下であり、平均密度(単位球内のビュー数)は134.68である。
また,大規模な屋外シーンを効率よく撮影できるシステムも注目に値する。
大規模な空間と高密度の光場データセットの欠如に対処するため、我々は、データキャプチャプロセス中の3D再構成の分野における研究者にとって関心のある、空、反射、光、影などの要素を含めようと努力した。
最後に、提案したデータセットを3つの人気アルゴリズムで検証し、再構成された3DGS結果をUnityエンジンに統合し、我々のデータセットを活用してバーチャルリアリティ(VR)の現実性を高め、実現可能な対話空間を構築する可能性を実証した。
データセットはプロジェクトのWebサイトで公開されています。
関連論文リスト
- VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。
本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
論文 参考訳（メタデータ） (2024-04-15T03:12:12Z) - Zero-Shot Multi-Object Scene Completion [59.325611678171974]
1枚のRGB-D画像から複雑なシーンにおける複数の見えない物体の完全な形状を復元する3Dシーン補完法を提案する。
提案手法は, 合成および実世界の両方のデータセットにおいて, 現在の最先端技術よりも優れている。
論文 参考訳（メタデータ） (2024-03-21T17:59:59Z) - Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。
既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文 参考訳（メタデータ） (2023-08-21T10:38:32Z) - 3D Data Augmentation for Driving Scenes on Camera [50.41413053812315]
本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。
まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。
そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
論文 参考訳（メタデータ） (2023-03-18T05:51:05Z) - 3D reconstruction from spherical images: A review of techniques,
applications, and prospects [2.6432771146480283]
3次元再構成は、現代のフォトグラムシステムにおいてますます重要な役割を担っている。
プロ用および消費者向けの球面カメラの急速な進化と広範囲な利用により、球面画像は都市と屋内のシーンの3Dモデリングに大きな可能性を示している。
本研究は,データ取得,特徴検出とマッチング,画像配向,密マッチングの観点から,球面画像の3次元再構成技術の現状を詳細に調査する。
論文 参考訳（メタデータ） (2023-02-09T08:45:27Z) - Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
1枚以上の画像から3D屋内シーンを没入する問題について検討する。
我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。
本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
論文 参考訳（メタデータ） (2022-04-06T17:54:46Z) - Multi-sensor large-scale dataset for multi-view 3D reconstruction [63.59401680137808]
マルチビュー3次元表面再構成のための新しいマルチセンサデータセットを提案する。
スマートフォン、Intel RealSense、Microsoft Kinect、産業用カメラ、構造化光スキャナーなどだ。
14の照明条件下で100方向から取得した107の異なるシーンの約1.4万枚の画像を提供する。
論文 参考訳（メタデータ） (2022-03-11T17:32:27Z) - Ground material classification and for UAV-based photogrammetric 3D data
A 2D-3D Hybrid Approach [1.3359609092684614]
近年,物理環境を表す3次元仮想データを作成するために,多くの領域でフォトグラム法が広く用いられている。
これらの最先端技術は、迅速な3D戦場再建、仮想訓練、シミュレーションを目的として、アメリカ陸軍と海軍の注意を引き付けている。
論文 参考訳（メタデータ） (2021-09-24T22:29:26Z) - Learning to Dehaze from Realistic Scene with A Fast Physics-based
Dehazing Network [26.92874873109654]
本稿では,HD(High-Definition)3Dフィルムの実際の屋外シーンを含む,大規模で多様なデハージングデータセットを提案する。
また,物理モデルにインスパイアされた軽量で信頼性の高いデハージングネットワークを提案する。
我々の手法は、他の手法よりも大きなマージンで優れ、新しい最先端の手法となる。
論文 参考訳（メタデータ） (2020-04-18T08:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。