論文の概要: ODGS: 3D Scene Reconstruction from Omnidirectional Images with 3D Gaussian Splattings

• arxiv url: http://arxiv.org/abs/2410.20686v1
• Date: Mon, 28 Oct 2024 02:45:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:22:32.780842
• Title: ODGS: 3D Scene Reconstruction from Omnidirectional Images with 3D Gaussian Splattings
• Title（参考訳）: ODGS:3次元ガウススプラッティングによる全方位画像からの3次元シーン再構成
• Authors: Suyoung Lee, Jaeyoung Chung, Jaeyoo Huh, Kyoung Mu Lee,
• Abstract要約: 幾何的解釈を用いた全方位画像の新規化パイプラインであるODGSについて述べる。 パイプライン全体が並列化され、最適化が達成され、NeRFベースの手法よりも100倍高速になる。 その結果、ODGSは大規模な3Dシーンを再構築しても、細部を効果的に復元できることがわかった。
• 参考スコア（独自算出の注目度）: 48.72040500647568
• License:
• Abstract: Omnidirectional (or 360-degree) images are increasingly being used for 3D applications since they allow the rendering of an entire scene with a single image. Existing works based on neural radiance fields demonstrate successful 3D reconstruction quality on egocentric videos, yet they suffer from long training and rendering times. Recently, 3D Gaussian splatting has gained attention for its fast optimization and real-time rendering. However, directly using a perspective rasterizer to omnidirectional images results in severe distortion due to the different optical properties between two image domains. In this work, we present ODGS, a novel rasterization pipeline for omnidirectional images, with geometric interpretation. For each Gaussian, we define a tangent plane that touches the unit sphere and is perpendicular to the ray headed toward the Gaussian center. We then leverage a perspective camera rasterizer to project the Gaussian onto the corresponding tangent plane. The projected Gaussians are transformed and combined into the omnidirectional image, finalizing the omnidirectional rasterization process. This interpretation reveals the implicit assumptions within the proposed pipeline, which we verify through mathematical proofs. The entire rasterization process is parallelized using CUDA, achieving optimization and rendering speeds 100 times faster than NeRF-based methods. Our comprehensive experiments highlight the superiority of ODGS by delivering the best reconstruction and perceptual quality across various datasets. Additionally, results on roaming datasets demonstrate that ODGS restores fine details effectively, even when reconstructing large 3D scenes. The source code is available on our project page (https://github.com/esw0116/ODGS).
• Abstract（参考訳）: 3Dアプリケーションでは、全シーンを1枚の画像でレンダリングできるため、全方向(または360度)の画像がますます使われている。 既存のニューラルレイディアンスフィールドに基づく作品は、エゴセントリックなビデオで3D再構成の質を成功させるが、長いトレーニングとレンダリング時間に悩まされる。 近年,高速な最適化とリアルタイムレンダリングで3Dガウススプラッティングが注目されている。 しかし、全方位画像に視線ラスタライザを直接使用すると、2つの画像領域間の光学的特性が異なるため、大きな歪みが生じる。 本研究では,一方向画像のための新しいラスタライズパイプラインであるODGSを幾何学的解釈により提示する。 各ガウス中心に対して、単位球面に接し、ガウス中心に向かう光線に垂直な接面を定義する。 次に、視点カメララスタライザを利用して、ガウスを対応する接面に投影する。 投影されたガウス像は全方位画像に変換され、全方位ラスタ化過程を確定する。 この解釈は、提案したパイプライン内の暗黙の仮定を明らかにし、数学的証明を通じて検証する。 ラスタ化プロセス全体はCUDAを用いて並列化され、NeRF法よりも100倍高速な最適化とレンダリングを実現する。 我々の総合的な実験は、様々なデータセットで最高の再構築と知覚品質を提供することによって、ODGSの優位性を強調します。 さらに、ローミングデータセットの結果から、ODGSは大規模な3Dシーンを再構築しても、細部を効果的に復元することを示した。 ソースコードはプロジェクトのページ(https://github.com/esw0116/ODGS)で公開されています。

関連論文リスト

• EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
  実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。 3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。 本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:59:09Z)
• OmniGS: Fast Radiance Field Reconstruction using Omnidirectional Gaussian Splatting [27.543561055868697]
  現在の3次元ガウス散乱システムは、歪みのない視点画像を用いた放射場再構成しかサポートしていない。 高速な放射野再構成のための全方位画像を利用するため,新しい全方位撮影システムであるOmniGSを提案する。
  論文  参考訳（メタデータ） (2024-04-04T05:10:26Z)
• GS2Mesh: Surface Reconstruction from Gaussian Splatting via Novel Stereo Views [9.175560202201819]
  3Dガウススプラッティング(3DGS)はシーンを正確に表現するための効率的なアプローチとして登場した。 本稿では,ノイズの多い3DGS表現とスムーズな3Dメッシュ表現とのギャップを埋めるための新しい手法を提案する。 私たちは、オリジナルのトレーニングポーズに対応するステレオアライメントされたイメージのペアをレンダリングし、ペアをステレオモデルに入力して深度プロファイルを取得し、最後にすべてのプロファイルを融合して単一のメッシュを得る。
  論文  参考訳（メタデータ） (2024-04-02T10:13:18Z)
• Recent Advances in 3D Gaussian Splatting [31.3820273122585]
  3次元ガウススプラッティングは、新規なビュー合成のレンダリング速度を大幅に高速化した。 3D Gaussian Splattingの明示的な表現は、動的再構成、幾何学的編集、物理シミュレーションなどの編集作業を容易にする。 本稿では,3次元再構成,3次元編集,その他の下流アプリケーションに大まかに分類できる最近の3次元ガウス散乱法について,文献的考察を行う。
  論文  参考訳（メタデータ） (2024-03-17T07:57:08Z)
• Identifying Unnecessary 3D Gaussians using Clustering for Fast Rendering of 3D Gaussian Splatting [2.878831747437321]
  3D-GSは、速度と画質の両方においてニューラル放射場(NeRF)を上回った新しいレンダリングアプローチである。 本研究では,現在のビューをレンダリングするために,不要な3次元ガウスをリアルタイムに識別する計算量削減手法を提案する。 Mip-NeRF360データセットの場合、提案手法は2次元画像投影の前に平均して3次元ガウスの63%を排除し、ピーク信号対雑音比(PSNR)を犠牲にすることなく全体のレンダリングを約38.3%削減する。 提案されたアクセラレータは、GPUと比較して10.7倍のスピードアップも達成している。
  論文  参考訳（メタデータ） (2024-02-21T14:16:49Z)
• Splatter Image: Ultra-Fast Single-View 3D Reconstruction [67.96212093828179]
  Splatter ImageはGaussian Splattingをベースにしており、複数の画像から3Dシーンを高速かつ高品質に再現することができる。 テスト時に38FPSでフィードフォワードで再構成を行うニューラルネットワークを学習する。 いくつかの総合、実、マルチカテゴリ、大規模ベンチマークデータセットにおいて、トレーニング中にPSNR、LPIPS、その他のメトリクスでより良い結果を得る。
  論文  参考訳（メタデータ） (2023-12-20T16:14:58Z)
• pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction [26.72289913260324]
  pixelSplatは、画像のペアから3次元ガウスプリミティブによってパラメータ化された3次元放射界の再構成を学ぶフィードフォワードモデルである。 我々のモデルは、スケーラブルなトレーニングのためのリアルタイム・メモリ効率のレンダリングと、推論時の高速な3次元再構成を特徴としている。
  論文  参考訳（メタデータ） (2023-12-19T17:03:50Z)
• GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
  本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。 最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。 我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
  論文  参考訳（メタデータ） (2023-12-08T16:05:15Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• VoGE: A Differentiable Volume Renderer using Gaussian Ellipsoids for Analysis-by-Synthesis [62.47221232706105]
  本稿では,ガウス再構成カーネルをボリュームプリミティブとして利用するVoGEを提案する。 本稿では,VoGEを用いて効率よくレンダリングを行うために,体積密度集約と粗大な描画戦略に関する近似クローズフォーム解を提案する。 VoGEは、オブジェクトポーズ推定、形状/テクスチャフィッティング、推論など、様々な視覚タスクに適用された場合、SoTAより優れている。
  論文  参考訳（メタデータ） (2022-05-30T19:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。