論文の概要: Scalable Indoor Novel-View Synthesis using Drone-Captured 360 Imagery with 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2410.11285v1
• Date: Tue, 15 Oct 2024 05:08:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:20.334898
• Title: Scalable Indoor Novel-View Synthesis using Drone-Captured 360 Imagery with 3D Gaussian Splatting
• Title（参考訳）: 3次元ガウススプレイティングを用いたドローン捕獲360度画像を用いた室内ノベルビューのスケーラブル合成
• Authors: Yuanbo Chen, Chengyu Zhang, Jason Wang, Xuefan Gao, Avideh Zakhor,
• Abstract要約: 本稿では,ドローンによる360度映像からの室内ノベルビュー合成のための,効率的でスケーラブルなパイプラインを提案する。 360度カメラは幅広い視点を捉え、単純なドローン軌道下での総合的なシーンキャプチャを可能にする。 以上の結果より,PSNRとSSIMの再現性は向上し,従来のアプローチと比較して時間も改善した。
• 参考スコア（独自算出の注目度）: 3.020267522817212
• License:
• Abstract: Scene reconstruction and novel-view synthesis for large, complex, multi-story, indoor scenes is a challenging and time-consuming task. Prior methods have utilized drones for data capture and radiance fields for scene reconstruction, both of which present certain challenges. First, in order to capture diverse viewpoints with the drone's front-facing camera, some approaches fly the drone in an unstable zig-zag fashion, which hinders drone-piloting and generates motion blur in the captured data. Secondly, most radiance field methods do not easily scale to arbitrarily large number of images. This paper proposes an efficient and scalable pipeline for indoor novel-view synthesis from drone-captured 360 videos using 3D Gaussian Splatting. 360 cameras capture a wide set of viewpoints, allowing for comprehensive scene capture under a simple straightforward drone trajectory. To scale our method to large scenes, we devise a divide-and-conquer strategy to automatically split the scene into smaller blocks that can be reconstructed individually and in parallel. We also propose a coarse-to-fine alignment strategy to seamlessly match these blocks together to compose the entire scene. Our experiments demonstrate marked improvement in both reconstruction quality, i.e. PSNR and SSIM, and computation time compared to prior approaches.
• Abstract（参考訳）: 大規模で複雑で多層的な屋内シーンのためのシーン再構築と新規ビュー合成は、困難で時間を要する作業である。 従来の方法では、ドローンをシーン再構築のためのデータキャプチャと放射場に利用しており、どちらも特定の課題を呈している。 まず、ドローンの前面カメラでさまざまな視点を捉えるために、不安定なジグザグ方式でドローンを飛ばすアプローチがある。 第二に、ほとんどの放射場法は任意の数の画像に容易にスケールできない。 本稿では, 3D Gaussian Splatting を用いて, ドローンで撮影した360度ビデオから室内ノベルビューを合成するための, 効率的でスケーラブルなパイプラインを提案する。 360度カメラは幅広い視点を捉え、単純なドローン軌道下での総合的なシーンキャプチャを可能にする。 提案手法を大規模シーンに拡張するために,シーンを個別に並列に再構成可能な小さなブロックに自動的に分割する分割・コンカ戦略を考案した。 また,これらのブロックをシームレスにマッチングし,シーン全体を構成するための粗大なアライメント戦略を提案する。 提案実験では,PSNRとSSIMの再現性能と,従来の手法と比較して計算時間を向上した。

関連論文リスト

• DRAGON: Drone and Ground Gaussian Splatting for 3D Building Reconstruction [6.204957247203803]
  DRAGONは、ドローンと地上の建築画像を入力として取り出し、3D NVSモデルを作成することができる。 Google Earth Studioを使って,9つの大きな建物シーンの半合成データセットを作成した。
  論文  参考訳（メタデータ） (2024-07-01T19:52:32Z)
• Sp2360: Sparse-view 360 Scene Reconstruction using Cascaded 2D Diffusion Priors [51.36238367193988]
  潜時拡散モデル(LDM)を用いた360度3次元シーンのスパースビュー再構成に挑戦する。 SparseSplat360は,未完成の細部を埋めたり,新しいビューをクリーンにするために,インペイントとアーティファクト除去のカスケードを利用する手法である。 提案手法は,9つの入力ビューから360度映像全体を生成する。
  論文  参考訳（メタデータ） (2024-05-26T11:01:39Z)
• OmniColor: A Global Camera Pose Optimization Approach of LiDAR-360Camera Fusion for Colorizing Point Clouds [15.11376768491973]
  単純で効率的な3D表現としてのカラーポイントクラウドは、様々な分野において多くの利点がある。 本稿では,独立系360度カメラを用いて点雲をカラー化するための,新規で効率的なアルゴリズムであるOmniColorを提案する。
  論文  参考訳（メタデータ） (2024-04-06T17:41:36Z)
• ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural Rendering [83.75284107397003]
  本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。 本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。 マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-05-03T13:24:06Z)
• Total-Recon: Deformable Scene Reconstruction for Embodied View Synthesis [76.72505510632904]
  長い単眼のRGBDビデオから変形可能なシーンを再構成する最初の方法であるTotal-Reconを提案する。 本手法は背景と物体にシーンを階層的に分解し,動作を根体運動と局所的調音に分解する。
  論文  参考訳（メタデータ） (2023-04-24T17:59:52Z)
• DroNeRF: Real-time Multi-agent Drone Pose Optimization for Computing Neural Radiance Fields [19.582873794287632]
  物体周囲の単眼カメラドローンの自律位置決めのための新しい最適化アルゴリズムDroNeRFを提案する。 NeRFは、入力画像の集合からオブジェクトやシーンの新しいビューを生成するために使われる新しいビュー合成技術である。
  論文  参考訳（メタデータ） (2023-03-08T01:46:19Z)
• Urban Radiance Fields [77.43604458481637]
  本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。 提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。 これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2021-11-29T15:58:16Z)
• Real-time dense 3D Reconstruction from monocular video data captured by low-cost UAVs [0.3867363075280543]
  リアルタイム3d再構築は,ナビゲーションや緊急時のライブ評価など,多数のアプリケーションにメリットがある環境の高速密マッピングを可能にする。 ほとんどのリアルタイム対応のアプローチとは対照的に、我々のアプローチは明示的な深度センサーを必要としない。 建物周辺を斜め視で飛行する無人航空機(UAV)の自己動作を利用して、選択された画像のカメラ軌道と深度の両方を、十分な新規な内容で推定します。
  論文  参考訳（メタデータ） (2021-04-21T13:12:17Z)
• Dogfight: Detecting Drones from Drones Videos [58.158988162743825]
  本稿では,他の飛行ドローンからドローンを検知する問題に対処する。 ソースとターゲットドローンのエロティックな動き、小型、任意の形状、大きな強度、および閉塞は、この問題を非常に困難にします。 これに対処するため,地域提案に基づく手法ではなく,2段階のセグメンテーションに基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-03-31T17:43:31Z)
• Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image [73.56631858393148]
  本研究では,1枚の画像から任意に長いカメラの軌跡に対応する新規ビューの長期生成という,永続的なビュー生成の問題について紹介する。 我々は、幾何合成と画像合成の両方を反復レンダリング、洗練、反復フレームワークで統合するハイブリッドアプローチを採用する。 提案手法は,手動のアノテーションを使わずに,一眼レフビデオシーケンスの集合から訓練することができる。
  論文  参考訳（メタデータ） (2020-12-17T18:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。