論文の概要: GauU-Scene V2: Assessing the Reliability of Image-Based Metrics with Expansive Lidar Image Dataset Using 3DGS and NeRF
- arxiv url: http://arxiv.org/abs/2404.04880v2
- Date: Sat, 13 Apr 2024 08:53:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 19:41:10.326401
- Title: GauU-Scene V2: Assessing the Reliability of Image-Based Metrics with Expansive Lidar Image Dataset Using 3DGS and NeRF
- Title(参考訳): GauU-Scene V2:3DGSとNeRFを用いた広帯域ライダー画像データセットによる画像ベースメトリクスの信頼性評価
- Authors: Butian Xiong, Nanjun Zheng, Junhua Liu, Zhen Li,
- Abstract要約: 本稿では,新しい3次元表現手法を用いたマルチモーダルな大規模シーン再構築ベンチマークを提案する。
GauU-Sceneは6.5平方キロメートル以上をカバーし、LiDARの地上真実と組み合わせた総合的なRGBデータセットを備えている。
ドローンによるデータセットのためのLiDARおよび画像アライメント手法を最初に提案する。
- 参考スコア(独自算出の注目度): 2.4673377627220323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a novel, multimodal large-scale scene reconstruction benchmark that utilizes newly developed 3D representation approaches: Gaussian Splatting and Neural Radiance Fields (NeRF). Our expansive U-Scene dataset surpasses any previously existing real large-scale outdoor LiDAR and image dataset in both area and point count. GauU-Scene encompasses over 6.5 square kilometers and features a comprehensive RGB dataset coupled with LiDAR ground truth. Additionally, we are the first to propose a LiDAR and image alignment method for a drone-based dataset. Our assessment of GauU-Scene includes a detailed analysis across various novel viewpoints, employing image-based metrics such as SSIM, LPIPS, and PSNR on NeRF and Gaussian Splatting based methods. This analysis reveals contradictory results when applying geometric-based metrics like Chamfer distance. The experimental results on our multimodal dataset highlight the unreliability of current image-based metrics and reveal significant drawbacks in geometric reconstruction using the current Gaussian Splatting-based method, further illustrating the necessity of our dataset for assessing geometry reconstruction tasks. We also provide detailed supplementary information on data collection protocols and make the dataset available on the following anonymous project page
- Abstract(参考訳): 本稿では,新しい3次元表現手法であるガウス・スプラッティングとニューラル・ラジアンス・フィールド(NeRF)を利用した,マルチモーダルな大規模シーン再構築ベンチマークを提案する。
我々の拡大したU-Sceneデータセットは、既存の大規模屋外LiDARと画像データセットを、領域と点数の両方で上回っている。
GauU-Sceneは6.5平方キロメートル以上をカバーし、LiDARの地上真実と組み合わせた総合的なRGBデータセットを備えている。
さらに、ドローンベースのデータセットのためのLiDARおよび画像アライメント手法を最初に提案する。
SSIM,LPIPS,PSNRなどの画像ベースメトリクスをNeRFおよびGaussian Splattingに基づく手法に応用し,GauU-Sceneの評価を行った。
この分析は、チャンファー距離のような幾何に基づく測度を適用する際の矛盾した結果を明らかにする。
本研究のマルチモーダルデータセットにおける実験結果は,現在の画像ベースメトリクスの信頼性の欠如を浮き彫りにし,現在のガウススプラッティング法を用いた幾何再構成における大きな欠点を明らかにし,また,幾何再構成タスクを評価するためのデータセットの必要性を明らかにした。
また、データ収集プロトコルの詳細情報も提供し、以下の匿名プロジェクトページでデータセットを利用できるようにします。
関連論文リスト
- MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳(メタデータ) (2024-04-01T04:57:41Z) - An evaluation of Deep Learning based stereo dense matching dataset shift
from aerial images and a large scale stereo dataset [2.048226951354646]
そこで本研究では,光検出・ランドング(LiDAR)と画像から直接地中不均質マップを生成する手法を提案する。
多様なシーンタイプ、画像解像度、幾何学的構成を持つデータセット間の11の密マッチング手法を評価した。
論文 参考訳(メタデータ) (2024-02-19T20:33:46Z) - GauU-Scene: A Scene Reconstruction Benchmark on Large Scale 3D
Reconstruction Dataset Using Gaussian Splatting [5.968501319323899]
本稿では,新たに開発された3D表現手法であるガウス・スプラッティングを用いた大規模シーン再構築ベンチマークを提案する。
U-Sceneは、RGBデータセットとLiDARの地上真実を包含した、1平方キロメートル以上に及ぶ。
このデータセットは、高度な空間分析のための都市環境と学術環境のユニークなブレンドを提供する。
論文 参考訳(メタデータ) (2024-01-25T09:22:32Z) - Multi-tiling Neural Radiance Field (NeRF) -- Geometric Assessment on
Large-scale Aerial Datasets [5.890115504395575]
本稿では,大規模航空データセット上でのNeRF(Neural Radiance Fields)のスケールアップを目指す。
具体的には、メモリ消費を減らすため、位置特定サンプリング技術とマルチカメラタイリング(MCT)戦略を導入する。
提案手法を代表的手法であるMip-NeRFに実装し,その幾何性能を3光度MVSパイプラインと比較する。
論文 参考訳(メタデータ) (2023-10-01T00:21:01Z) - MS-PS: A Multi-Scale Network for Photometric Stereo With a New
Comprehensive Training Dataset [0.0]
光度ステレオ(PS)問題は、物体の3次元表面を再構成することである。
そこで我々は,PSのマルチスケールアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-11-25T14:01:54Z) - LiDARCap: Long-range Marker-less 3D Human Motion Capture with LiDAR
Point Clouds [58.402752909624716]
既存のモーションキャプチャデータセットはほとんどが短距離であり、まだ長距離アプリケーションのニーズに合わない。
我々は,この制限を克服するために,LiDARがより長い範囲で捉えた新しい人間のモーションキャプチャーデータセットLiDARHuman26Mを提案する。
我々のデータセットには、IMUシステムによって取得された人間の動きと同期RGB画像も含まれている。
論文 参考訳(メタデータ) (2022-03-28T12:52:45Z) - Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。
我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。
本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
論文 参考訳(メタデータ) (2021-10-11T20:20:03Z) - Refer-it-in-RGBD: A Bottom-up Approach for 3D Visual Grounding in RGBD
Images [69.5662419067878]
RGBD画像における接地参照表現は新たな分野である。
本稿では,参照する物体が閉塞により部分的にスキャンされる場合が多い単視点rgbd画像における3次元視覚グランド化の新たな課題を提案する。
提案手法はまず,RGBD画像内の関連領域をローカライズするヒートマップを生成するために,下層の言語と視覚的特徴を融合させる。
次に、ヒートマップに基づく適応的特徴学習を行い、他のビジオ言語融合とオブジェクトレベルのマッチングを行い、最後に参照したオブジェクトを接地する。
論文 参考訳(メタデータ) (2021-03-14T11:18:50Z) - Weakly-supervised land classification for coastal zone based on deep
convolutional neural networks by incorporating dual-polarimetric
characteristics into training dataset [1.125851164829582]
本研究では, 空間偏光合成開口レーダ(PolSAR)を用いた意味的セグメンテーションにおけるDCNNの性能について検討する。
PolSARデータを用いたセマンティックセグメンテーションタスクは、SARデータの特徴とアノテート手順が考慮されている場合、弱い教師付き学習に分類することができる。
次に、SegNet、U-Net、LinkNetを含む3つのDCNNモデルが実装されている。
論文 参考訳(メタデータ) (2020-03-30T17:32:49Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-03-27T21:28:54Z) - Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset
for Spatially Varying Isotropic Materials [65.95928593628128]
多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。
我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
論文 参考訳(メタデータ) (2020-01-18T12:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。