論文の概要: GauU-Scene V2: Assessing the Reliability of Image-Based Metrics with Expansive Lidar Image Dataset Using 3DGS and NeRF
- arxiv url: http://arxiv.org/abs/2404.04880v2
- Date: Sat, 13 Apr 2024 08:53:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 19:41:10.326401
- Title: GauU-Scene V2: Assessing the Reliability of Image-Based Metrics with Expansive Lidar Image Dataset Using 3DGS and NeRF
- Title（参考訳）: GauU-Scene V2:3DGSとNeRFを用いた広帯域ライダー画像データセットによる画像ベースメトリクスの信頼性評価
- Authors: Butian Xiong, Nanjun Zheng, Junhua Liu, Zhen Li,
- Abstract要約: 本稿では,新しい3次元表現手法を用いたマルチモーダルな大規模シーン再構築ベンチマークを提案する。
GauU-Sceneは6.5平方キロメートル以上をカバーし、LiDARの地上真実と組み合わせた総合的なRGBデータセットを備えている。
ドローンによるデータセットのためのLiDARおよび画像アライメント手法を最初に提案する。
- 参考スコア（独自算出の注目度）: 2.4673377627220323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a novel, multimodal large-scale scene reconstruction benchmark that utilizes newly developed 3D representation approaches: Gaussian Splatting and Neural Radiance Fields (NeRF). Our expansive U-Scene dataset surpasses any previously existing real large-scale outdoor LiDAR and image dataset in both area and point count. GauU-Scene encompasses over 6.5 square kilometers and features a comprehensive RGB dataset coupled with LiDAR ground truth. Additionally, we are the first to propose a LiDAR and image alignment method for a drone-based dataset. Our assessment of GauU-Scene includes a detailed analysis across various novel viewpoints, employing image-based metrics such as SSIM, LPIPS, and PSNR on NeRF and Gaussian Splatting based methods. This analysis reveals contradictory results when applying geometric-based metrics like Chamfer distance. The experimental results on our multimodal dataset highlight the unreliability of current image-based metrics and reveal significant drawbacks in geometric reconstruction using the current Gaussian Splatting-based method, further illustrating the necessity of our dataset for assessing geometry reconstruction tasks. We also provide detailed supplementary information on data collection protocols and make the dataset available on the following anonymous project page
- Abstract（参考訳）: 本稿では,新しい3次元表現手法であるガウス・スプラッティングとニューラル・ラジアンス・フィールド(NeRF)を利用した,マルチモーダルな大規模シーン再構築ベンチマークを提案する。
我々の拡大したU-Sceneデータセットは、既存の大規模屋外LiDARと画像データセットを、領域と点数の両方で上回っている。
GauU-Sceneは6.5平方キロメートル以上をカバーし、LiDARの地上真実と組み合わせた総合的なRGBデータセットを備えている。
さらに、ドローンベースのデータセットのためのLiDARおよび画像アライメント手法を最初に提案する。
SSIM,LPIPS,PSNRなどの画像ベースメトリクスをNeRFおよびGaussian Splattingに基づく手法に応用し,GauU-Sceneの評価を行った。
この分析は、チャンファー距離のような幾何に基づく測度を適用する際の矛盾した結果を明らかにする。
本研究のマルチモーダルデータセットにおける実験結果は,現在の画像ベースメトリクスの信頼性の欠如を浮き彫りにし,現在のガウススプラッティング法を用いた幾何再構成における大きな欠点を明らかにし,また,幾何再構成タスクを評価するためのデータセットの必要性を明らかにした。
また、データ収集プロトコルの詳細情報も提供し、以下の匿名プロジェクトページでデータセットを利用できるようにします。
関連論文リスト
- PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - Mode-GS: Monocular Depth Guided Anchored 3D Gaussian Splatting for Robust Ground-View Scene Rendering [47.879695094904015]
そこで本研究では,地上ロボット軌道データセットのための新しいビューレンダリングアルゴリズムであるMode-GSを提案する。
提案手法は,既存の3次元ガウススプラッティングアルゴリズムの限界を克服する目的で,アンカー付きガウススプラッターを用いている。
提案手法は,PSNR,SSIM,LPIPSの計測値に基づいて,自由軌道パターンを持つ地上環境におけるレンダリング性能を向上する。
論文 参考訳（メタデータ） (2024-10-06T23:01:57Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳（メタデータ） (2024-04-01T04:57:41Z) - An evaluation of Deep Learning based stereo dense matching dataset shift
from aerial images and a large scale stereo dataset [2.048226951354646]
そこで本研究では,光検出・ランドング(LiDAR)と画像から直接地中不均質マップを生成する手法を提案する。
多様なシーンタイプ、画像解像度、幾何学的構成を持つデータセット間の11の密マッチング手法を評価した。
論文 参考訳（メタデータ） (2024-02-19T20:33:46Z) - GauU-Scene: A Scene Reconstruction Benchmark on Large Scale 3D
Reconstruction Dataset Using Gaussian Splatting [5.968501319323899]
本稿では,新たに開発された3D表現手法であるガウス・スプラッティングを用いた大規模シーン再構築ベンチマークを提案する。
U-Sceneは、RGBデータセットとLiDARの地上真実を包含した、1平方キロメートル以上に及ぶ。
このデータセットは、高度な空間分析のための都市環境と学術環境のユニークなブレンドを提供する。
論文 参考訳（メタデータ） (2024-01-25T09:22:32Z) - Multi-tiling Neural Radiance Field (NeRF) -- Geometric Assessment on Large-scale Aerial Datasets [5.391764618878545]
本稿では,大規模航空データセット上でのNeRF(Neural Radiance Fields)のスケールアップを目指す。
具体的には、メモリ消費を減らすため、位置特定サンプリング技術とマルチカメラタイリング(MCT)戦略を導入する。
提案手法を代表的手法であるMip-NeRFに実装し,その幾何性能を3光度MVSパイプラインと比較する。
論文 参考訳（メタデータ） (2023-10-01T00:21:01Z) - MS-PS: A Multi-Scale Network for Photometric Stereo With a New
Comprehensive Training Dataset [0.0]
光度ステレオ(PS)問題は、物体の3次元表面を再構成することである。
そこで我々は,PSのマルチスケールアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-11-25T14:01:54Z) - LiDARCap: Long-range Marker-less 3D Human Motion Capture with LiDAR
Point Clouds [58.402752909624716]
既存のモーションキャプチャデータセットはほとんどが短距離であり、まだ長距離アプリケーションのニーズに合わない。
我々は,この制限を克服するために,LiDARがより長い範囲で捉えた新しい人間のモーションキャプチャーデータセットLiDARHuman26Mを提案する。
我々のデータセットには、IMUシステムによって取得された人間の動きと同期RGB画像も含まれている。
論文 参考訳（メタデータ） (2022-03-28T12:52:45Z) - Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。
我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。
本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
論文 参考訳（メタデータ） (2021-10-11T20:20:03Z) - Refer-it-in-RGBD: A Bottom-up Approach for 3D Visual Grounding in RGBD
Images [69.5662419067878]
RGBD画像における接地参照表現は新たな分野である。
本稿では,参照する物体が閉塞により部分的にスキャンされる場合が多い単視点rgbd画像における3次元視覚グランド化の新たな課題を提案する。
提案手法はまず,RGBD画像内の関連領域をローカライズするヒートマップを生成するために,下層の言語と視覚的特徴を融合させる。
次に、ヒートマップに基づく適応的特徴学習を行い、他のビジオ言語融合とオブジェクトレベルのマッチングを行い、最後に参照したオブジェクトを接地する。
論文 参考訳（メタデータ） (2021-03-14T11:18:50Z) - Weakly-supervised land classification for coastal zone based on deep convolutional neural networks by incorporating dual-polarimetric characteristics into training dataset [1.0494061710470493]
本研究では, 空間偏光合成開口レーダ(PolSAR)を用いた意味的セグメンテーションにおけるDCNNの性能について検討する。
PolSARデータを用いたセマンティックセグメンテーションタスクは、SARデータの特徴とアノテート手順が考慮されている場合、弱い教師付き学習に分類することができる。
次に、SegNet、U-Net、LinkNetを含む3つのDCNNモデルが実装されている。
論文 参考訳（メタデータ） (2020-03-30T17:32:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。