論文の概要: Scalable Indoor Novel-View Synthesis using Drone-Captured 360 Imagery with 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2410.11285v1
• Date: Tue, 15 Oct 2024 05:08:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:20.334898
• Title: Scalable Indoor Novel-View Synthesis using Drone-Captured 360 Imagery with 3D Gaussian Splatting
• Title（参考訳）: 3次元ガウススプレイティングを用いたドローン捕獲360度画像を用いた室内ノベルビューのスケーラブル合成
• Authors: Yuanbo Chen, Chengyu Zhang, Jason Wang, Xuefan Gao, Avideh Zakhor,
• Abstract要約: 本稿では,ドローンによる360度映像からの室内ノベルビュー合成のための,効率的でスケーラブルなパイプラインを提案する。 360度カメラは幅広い視点を捉え、単純なドローン軌道下での総合的なシーンキャプチャを可能にする。 以上の結果より,PSNRとSSIMの再現性は向上し,従来のアプローチと比較して時間も改善した。
• 参考スコア（独自算出の注目度）: 3.020267522817212
• License:
• Abstract: Scene reconstruction and novel-view synthesis for large, complex, multi-story, indoor scenes is a challenging and time-consuming task. Prior methods have utilized drones for data capture and radiance fields for scene reconstruction, both of which present certain challenges. First, in order to capture diverse viewpoints with the drone's front-facing camera, some approaches fly the drone in an unstable zig-zag fashion, which hinders drone-piloting and generates motion blur in the captured data. Secondly, most radiance field methods do not easily scale to arbitrarily large number of images. This paper proposes an efficient and scalable pipeline for indoor novel-view synthesis from drone-captured 360 videos using 3D Gaussian Splatting. 360 cameras capture a wide set of viewpoints, allowing for comprehensive scene capture under a simple straightforward drone trajectory. To scale our method to large scenes, we devise a divide-and-conquer strategy to automatically split the scene into smaller blocks that can be reconstructed individually and in parallel. We also propose a coarse-to-fine alignment strategy to seamlessly match these blocks together to compose the entire scene. Our experiments demonstrate marked improvement in both reconstruction quality, i.e. PSNR and SSIM, and computation time compared to prior approaches.
• Abstract（参考訳）: 大規模で複雑で多層的な屋内シーンのためのシーン再構築と新規ビュー合成は、困難で時間を要する作業である。 従来の方法では、ドローンをシーン再構築のためのデータキャプチャと放射場に利用しており、どちらも特定の課題を呈している。 まず、ドローンの前面カメラでさまざまな視点を捉えるために、不安定なジグザグ方式でドローンを飛ばすアプローチがある。 第二に、ほとんどの放射場法は任意の数の画像に容易にスケールできない。 本稿では, 3D Gaussian Splatting を用いて, ドローンで撮影した360度ビデオから室内ノベルビューを合成するための, 効率的でスケーラブルなパイプラインを提案する。 360度カメラは幅広い視点を捉え、単純なドローン軌道下での総合的なシーンキャプチャを可能にする。 提案手法を大規模シーンに拡張するために,シーンを個別に並列に再構成可能な小さなブロックに自動的に分割する分割・コンカ戦略を考案した。 また,これらのブロックをシームレスにマッチングし,シーン全体を構成するための粗大なアライメント戦略を提案する。 提案実験では,PSNRとSSIMの再現性能と,従来の手法と比較して計算時間を向上した。

関連論文リスト

• E-3DGS: Event-Based Novel View Rendering of Large-Scale Scenes Using 3D Gaussian Splatting [23.905254854888863]
  イベントベース新規ビュー合成のための3Dガウシアンについて紹介する。 本手法は,視覚的品質の高い大規模・非有界なシーンを再構成する。 この設定に適した、最初のリアルおよび合成イベントデータセットをコントリビュートします。
  論文  参考訳（メタデータ） (2025-02-15T15:04:10Z)
• Horizon-GS: Unified 3D Gaussian Splatting for Large-Scale Aerial-to-Ground Scenes [55.15494682493422]
  本稿では,ガウシアン・スプレイティング技術に基づく新しい手法であるHorizon-GSを導入し,航空やストリートビューの統一的な再構築とレンダリングに挑戦する。 提案手法は,これらの視点と新たなトレーニング戦略を組み合わせることによる重要な課題に対処し,視点の相違を克服し,高忠実度シーンを生成する。
  論文  参考訳（メタデータ） (2024-12-02T17:42:00Z)
• DRAGON: Drone and Ground Gaussian Splatting for 3D Building Reconstruction [6.204957247203803]
  DRAGONは、ドローンと地上の建築画像を入力として取り出し、3D NVSモデルを作成することができる。 Google Earth Studioを使って,9つの大きな建物シーンの半合成データセットを作成した。
  論文  参考訳（メタデータ） (2024-07-01T19:52:32Z)
• Sp2360: Sparse-view 360 Scene Reconstruction using Cascaded 2D Diffusion Priors [51.36238367193988]
  潜時拡散モデル(LDM)を用いた360度3次元シーンのスパースビュー再構成に挑戦する。 SparseSplat360は,未完成の細部を埋めたり,新しいビューをクリーンにするために,インペイントとアーティファクト除去のカスケードを利用する手法である。 提案手法は,9つの入力ビューから360度映像全体を生成する。
  論文  参考訳（メタデータ） (2024-05-26T11:01:39Z)
• ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural Rendering [83.75284107397003]
  本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。 本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。 マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-05-03T13:24:06Z)
• Total-Recon: Deformable Scene Reconstruction for Embodied View Synthesis [76.72505510632904]
  長い単眼のRGBDビデオから変形可能なシーンを再構成する最初の方法であるTotal-Reconを提案する。 本手法は背景と物体にシーンを階層的に分解し,動作を根体運動と局所的調音に分解する。
  論文  参考訳（メタデータ） (2023-04-24T17:59:52Z)
• DroNeRF: Real-time Multi-agent Drone Pose Optimization for Computing Neural Radiance Fields [19.582873794287632]
  物体周囲の単眼カメラドローンの自律位置決めのための新しい最適化アルゴリズムDroNeRFを提案する。 NeRFは、入力画像の集合からオブジェクトやシーンの新しいビューを生成するために使われる新しいビュー合成技術である。
  論文  参考訳（メタデータ） (2023-03-08T01:46:19Z)
• Urban Radiance Fields [77.43604458481637]
  本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。 提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。 これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2021-11-29T15:58:16Z)
• Real-time dense 3D Reconstruction from monocular video data captured by low-cost UAVs [0.3867363075280543]
  リアルタイム3d再構築は,ナビゲーションや緊急時のライブ評価など,多数のアプリケーションにメリットがある環境の高速密マッピングを可能にする。 ほとんどのリアルタイム対応のアプローチとは対照的に、我々のアプローチは明示的な深度センサーを必要としない。 建物周辺を斜め視で飛行する無人航空機(UAV)の自己動作を利用して、選択された画像のカメラ軌道と深度の両方を、十分な新規な内容で推定します。
  論文  参考訳（メタデータ） (2021-04-21T13:12:17Z)
• Dogfight: Detecting Drones from Drones Videos [58.158988162743825]
  本稿では,他の飛行ドローンからドローンを検知する問題に対処する。 ソースとターゲットドローンのエロティックな動き、小型、任意の形状、大きな強度、および閉塞は、この問題を非常に困難にします。 これに対処するため,地域提案に基づく手法ではなく,2段階のセグメンテーションに基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-03-31T17:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。