論文の概要: You Need a Transition Plane: Bridging Continuous Panoramic 3D Reconstruction with Perspective Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2504.09062v1
• Date: Sat, 12 Apr 2025 03:42:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:52:29.195355
• Title: You Need a Transition Plane: Bridging Continuous Panoramic 3D Reconstruction with Perspective Gaussian Splatting
• Title（参考訳）: パースペクティブ・ガウス法による連続パノラマ3次元再構成
• Authors: Zhijie Shen, Chunyu Lin, Shujuan Huang, Lang Nie, Kang Liao, Yao Zhao,
• Abstract要約: 本稿では,連続的なパノラマ3次元シーンをガウススプラッティングで橋渡しするための新しいフレームワークTPGSを提案する。 具体的には、個々の立方体面内で3Dガウスを最適化し、縫合されたパノラマ空間でそれらを微調整する。 屋内、屋外、エゴセントリック、ローミングのベンチマークデータセットの実験は、我々のアプローチが既存の最先端の手法より優れていることを示している。
• 参考スコア（独自算出の注目度）: 57.44295803750027
• License:
• Abstract: Recently, reconstructing scenes from a single panoramic image using advanced 3D Gaussian Splatting (3DGS) techniques has attracted growing interest. Panoramic images offer a 360$\times$ 180 field of view (FoV), capturing the entire scene in a single shot. However, panoramic images introduce severe distortion, making it challenging to render 3D Gaussians into 2D distorted equirectangular space directly. Converting equirectangular images to cubemap projections partially alleviates this problem but introduces new challenges, such as projection distortion and discontinuities across cube-face boundaries. To address these limitations, we present a novel framework, named TPGS, to bridge continuous panoramic 3D scene reconstruction with perspective Gaussian splatting. Firstly, we introduce a Transition Plane between adjacent cube faces to enable smoother transitions in splatting directions and mitigate optimization ambiguity in the boundary region. Moreover, an intra-to-inter face optimization strategy is proposed to enhance local details and restore visual consistency across cube-face boundaries. Specifically, we optimize 3D Gaussians within individual cube faces and then fine-tune them in the stitched panoramic space. Additionally, we introduce a spherical sampling technique to eliminate visible stitching seams. Extensive experiments on indoor and outdoor, egocentric, and roaming benchmark datasets demonstrate that our approach outperforms existing state-of-the-art methods. Code and models will be available at https://github.com/zhijieshen-bjtu/TPGS.
• Abstract（参考訳）: 近年,高度3次元ガウススプラッティング(3DGS)技術を用いたパノラマ画像の再構成が注目されている。 パノラマ画像は360$\times$180の視野(FoV)を提供する。 しかし、パノラマ画像は厳しい歪みを伴い、3次元ガウスを2次元歪曲した正方形空間に直接配置することは困難である。 正方形画像を立方体射影に変換することはこの問題を部分的に緩和するが、射影歪みや立方体面の境界を越えた不連続性のような新しい課題をもたらす。 これらの制約に対処するため,連続的なパノラマ3Dシーンをガウススプラッティングで橋渡しするTPGSという新しいフレームワークを提案する。 まず、隣接する立方体面間の遷移平面を導入し、スティング方向のスムーズな遷移を可能にし、境界領域における最適化のあいまいさを軽減する。 さらに、局所的な詳細性を高め、立方体面境界を越えて視覚的一貫性を回復するための、対面内最適化戦略を提案する。 具体的には、個々の立方体面内で3Dガウスを最適化し、縫合されたパノラマ空間でそれらを微調整する。 さらに,目に見える縫合糸を除去する球面サンプリング手法を導入する。 屋内、屋外、エゴセントリック、ローミングのベンチマークデータセットに関する大規模な実験は、我々のアプローチが既存の最先端手法よりも優れていることを示している。 コードとモデルは、https://github.com/zhijieshen-bjtu/TPGS.comで入手できる。

関連論文リスト

• CATSplat: Context-Aware Transformer with Spatial Guidance for Generalizable 3D Gaussian Splatting from A Single-View Image [18.445769892372528]
  単視点3Dシーン再構成のための新しい一般化可能なトランスフォーマーベースのフレームワークであるCATSplatを紹介する。 シーン固有のコンテキストの詳細をテキスト埋め込みからクロスアテンションに組み込むことで、コンテキスト認識の再構築の道を開く。 大規模データセットを用いた実験により, 単視点3次元シーン再構成におけるCATSplatの最先端性能が実証された。
  論文  参考訳（メタデータ） (2024-12-17T13:32:04Z)
• Splatter-360: Generalizable 360$^{\circ}$ Gaussian Splatting for Wide-baseline Panoramic Images [52.48351378615057]
  textitSplatter-360は、ワイドベースラインパノラマ画像を扱うための、エンドツーエンドの汎用3DGSフレームワークである。 パノラマ画像に固有の歪みを緩和する3D対応複投影エンコーダを提案する。 これにより、堅牢な3D対応機能表現とリアルタイムレンダリングが可能になる。
  論文  参考訳（メタデータ） (2024-12-09T06:58:31Z)
• 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
  多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。 3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。 本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
  論文  参考訳（メタデータ） (2024-11-22T14:31:39Z)
• ODGS: 3D Scene Reconstruction from Omnidirectional Images with 3D Gaussian Splattings [48.72040500647568]
  幾何的解釈を用いた全方位画像の新規化パイプラインであるODGSについて述べる。 パイプライン全体が並列化され、最適化が達成され、NeRFベースの手法よりも100倍高速になる。 その結果、ODGSは大規模な3Dシーンを再構築しても、細部を効果的に復元できることがわかった。
  論文  参考訳（メタデータ） (2024-10-28T02:45:13Z)
• FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
  FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。 ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-28T08:40:14Z)
• Hybrid Explicit Representation for Ultra-Realistic Head Avatars [55.829497543262214]
  我々は,超現実的な頭部アバターを作成し,それをリアルタイムにレンダリングする新しい手法を提案する。 UVマップされた3Dメッシュは滑らかな表面のシャープでリッチなテクスチャを捉えるのに使われ、3Dガウス格子は複雑な幾何学構造を表現するために用いられる。 モデル化された結果が最先端のアプローチを上回る実験を行ないました。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• 360-GS: Layout-guided Panoramic Gaussian Splatting For Indoor Roaming [15.62029018680868]
  3D Gaussian Splatting (3D-GS) はリアルタイムおよびフォトリアリスティックレンダリングで注目されている。 限定的なパノラマ入力に対する360円のガウススプラッティングである360-GSを提案する。 360-GSではパノラマレンダリングが可能であり、新しいビュー合成におけるアーティファクトの少ない最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-01T16:52:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。