論文の概要: OmniSplat: Taming Feed-Forward 3D Gaussian Splatting for Omnidirectional Images with Editable Capabilities

• arxiv url: http://arxiv.org/abs/2412.16604v1
• Date: Sat, 21 Dec 2024 12:33:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:58:40.490427
• Title: OmniSplat: Taming Feed-Forward 3D Gaussian Splatting for Omnidirectional Images with Editable Capabilities
• Title（参考訳）: OmniSplat: 編集機能を備えた全方位画像のためのフィードフォワード3Dガウススプラッティング
• Authors: Suyoung Lee, Jaeyoung Chung, Kihoon Kim, Jaeyoo Huh, Gunhee Lee, Minsoo Lee, Kyoung Mu Lee,
• Abstract要約: OmniSplatは、全方位画像から高速なフィードフォワード3DGS生成のための先駆的な研究である。 我々は、視線画像に基づいて訓練された既存のフィードフォワードネットワークよりも高い再構成精度を示す。
• 参考スコア（独自算出の注目度）: 44.255563018074575
• License:
• Abstract: Feed-forward 3D Gaussian Splatting (3DGS) models have gained significant popularity due to their ability to generate scenes immediately without needing per-scene optimization. Although omnidirectional images are getting more popular since they reduce the computation for image stitching to composite a holistic scene, existing feed-forward models are only designed for perspective images. The unique optical properties of omnidirectional images make it difficult for feature encoders to correctly understand the context of the image and make the Gaussian non-uniform in space, which hinders the image quality synthesized from novel views. We propose OmniSplat, a pioneering work for fast feed-forward 3DGS generation from a few omnidirectional images. We introduce Yin-Yang grid and decompose images based on it to reduce the domain gap between omnidirectional and perspective images. The Yin-Yang grid can use the existing CNN structure as it is, but its quasi-uniform characteristic allows the decomposed image to be similar to a perspective image, so it can exploit the strong prior knowledge of the learned feed-forward network. OmniSplat demonstrates higher reconstruction accuracy than existing feed-forward networks trained on perspective images. Furthermore, we enhance the segmentation consistency between omnidirectional images by leveraging attention from the encoder of OmniSplat, providing fast and clean 3DGS editing results.
• Abstract（参考訳）: フィードフォワード3Dガウススプラッティング(3DGS)モデルは、シーンごとの最適化を必要とせず、即座にシーンを生成する能力によって大きな人気を集めている。 全方位画像は、画像縫合の計算を全体像に合成するので、より人気が高まりつつあるが、既存のフィードフォワードモデルは視点画像のみのために設計されている。 全方位画像のユニークな光学特性は、特徴エンコーダが画像のコンテキストを正確に理解し、空間におけるガウス的非一様化を難しくし、新しいビューから合成された画像品質を妨げる。 OmniSplatは、全方位画像から高速なフィードフォワード3DGS生成のための先駆的な研究である。 我々は,Yin-Yangグリッドを導入し,それに基づく画像分解を行い,全方位画像と視点画像の領域ギャップを低減する。 yin-Yangグリッドは既存のCNN構造をそのまま使用することができるが、その準均一特性により分解された画像は視点像と類似し、学習されたフィードフォワードネットワークの強い事前知識を利用することができる。 OmniSplatは、視点画像に基づいてトレーニングされた既存のフィードフォワードネットワークよりも高い再構成精度を示す。 さらに,OmniSplatのエンコーダからの注意を生かして全方位画像間のセグメンテーションの整合性を高め,高速でクリーンな3DGS編集結果を提供する。

関連論文リスト

• NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
  NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
  論文  参考訳（メタデータ） (2024-11-25T07:57:17Z)
• ODGS: 3D Scene Reconstruction from Omnidirectional Images with 3D Gaussian Splattings [48.72040500647568]
  幾何的解釈を用いた全方位画像の新規化パイプラインであるODGSについて述べる。 パイプライン全体が並列化され、最適化が達成され、NeRFベースの手法よりも100倍高速になる。 その結果、ODGSは大規模な3Dシーンを再構築しても、細部を効果的に復元できることがわかった。
  論文  参考訳（メタデータ） (2024-10-28T02:45:13Z)
• FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
  FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。 ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-28T08:40:14Z)
• OmniGS: Fast Radiance Field Reconstruction using Omnidirectional Gaussian Splatting [27.543561055868697]
  現在の3次元ガウス散乱システムは、歪みのない視点画像を用いた放射場再構成しかサポートしていない。 高速な放射野再構成のための全方位画像を利用するため,新しい全方位撮影システムであるOmniGSを提案する。
  論文  参考訳（メタデータ） (2024-04-04T05:10:26Z)
• Splatter Image: Ultra-Fast Single-View 3D Reconstruction [67.96212093828179]
  Splatter ImageはGaussian Splattingをベースにしており、複数の画像から3Dシーンを高速かつ高品質に再現することができる。 テスト時に38FPSでフィードフォワードで再構成を行うニューラルネットワークを学習する。 いくつかの総合、実、マルチカテゴリ、大規模ベンチマークデータセットにおいて、トレーニング中にPSNR、LPIPS、その他のメトリクスでより良い結果を得る。
  論文  参考訳（メタデータ） (2023-12-20T16:14:58Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。