論文の概要: SplatFormer: Point Transformer for Robust 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2411.06390v2
- Date: Tue, 12 Nov 2024 06:41:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-13 13:21:40.437395
- Title: SplatFormer: Point Transformer for Robust 3D Gaussian Splatting
- Title（参考訳）: SplatFormer:ロバスト3次元ガウス平滑化のための点変換器
- Authors: Yutong Chen, Marko Mihajlovic, Xiyi Chen, Yiming Wang, Sergey Prokudin, Siyu Tang,
- Abstract要約: 3D Gaussian Splatting (3DGS) は、近ごろ光現実的再構成を変換し、高い視覚的忠実度とリアルタイム性能を実現した。
レンダリング品質は、テストビューがトレーニング中に使用されるカメラアングルから逸脱したときに著しく低下し、没入型自由視点レンダリングとナビゲーションのアプリケーションにとって大きな課題となった。
SplatFormerは,ガウススプラット上での操作に特化して設計された最初の点変換器モデルである。
我々のモデルは、非常に斬新なビュー下でのレンダリング品質を著しく改善し、これらの難易度シナリオにおける最先端のパフォーマンスを達成し、様々な3DGS正規化技術、スパースビュー合成に適したマルチシーンモデル、拡散を上回ります。
- 参考スコア（独自算出の注目度）: 18.911307036504827
- License:
- Abstract: 3D Gaussian Splatting (3DGS) has recently transformed photorealistic reconstruction, achieving high visual fidelity and real-time performance. However, rendering quality significantly deteriorates when test views deviate from the camera angles used during training, posing a major challenge for applications in immersive free-viewpoint rendering and navigation. In this work, we conduct a comprehensive evaluation of 3DGS and related novel view synthesis methods under out-of-distribution (OOD) test camera scenarios. By creating diverse test cases with synthetic and real-world datasets, we demonstrate that most existing methods, including those incorporating various regularization techniques and data-driven priors, struggle to generalize effectively to OOD views. To address this limitation, we introduce SplatFormer, the first point transformer model specifically designed to operate on Gaussian splats. SplatFormer takes as input an initial 3DGS set optimized under limited training views and refines it in a single forward pass, effectively removing potential artifacts in OOD test views. To our knowledge, this is the first successful application of point transformers directly on 3DGS sets, surpassing the limitations of previous multi-scene training methods, which could handle only a restricted number of input views during inference. Our model significantly improves rendering quality under extreme novel views, achieving state-of-the-art performance in these challenging scenarios and outperforming various 3DGS regularization techniques, multi-scene models tailored for sparse view synthesis, and diffusion-based frameworks.
- Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は、近ごろ光現実的再構成を変換し、高い視覚的忠実度とリアルタイム性能を実現した。
しかし、テストビューがトレーニング中に使用されるカメラアングルから逸脱すると、レンダリング品質は著しく低下し、没入型自由視点レンダリングとナビゲーションのアプリケーションにとって大きな課題となった。
本研究では,アウト・オブ・ディストリビューション(OOD)テストカメラシナリオ下で,3DGSと関連する新しいビュー合成手法の包括的な評価を行う。
合成および実世界のデータセットを用いた多種多様なテストケースを作成することで、様々な正規化技術やデータ駆動の事前処理を含む既存のほとんどの手法が、OODビューに効果的に一般化するのに苦労していることを示す。
この制限に対処するために,ガウススプラット上での操作に特化して設計された第1点変圧器モデルであるSplatFormerを紹介した。
SplatFormerは、限られたトレーニングビューの下で最適化された初期3DGSセットを入力として、単一のフォワードパスで洗練し、OODテストビューの潜在的なアーティファクトを効果的に削除する。
我々の知る限り、これは3DGSセット上で直接ポイントトランスフォーマーを適用する最初の成功例であり、推論中に限られた数のインプットビューしか処理できない従来のマルチシーントレーニング手法の限界を超えている。
提案モデルは,超新奇な視点下でのレンダリング品質を著しく向上させ,これらの難易度シナリオにおける最先端性能を達成し,様々な3DGS正規化技術,スパースビュー合成に適したマルチシーンモデル,拡散ベースフレームワークを向上する。
関連論文リスト
- PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - 3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors [13.191199172286508]
新規ビュー合成は、複数の入力画像やビデオからシーンの新しいビューを生成することを目的としている。
3DGS-Enhancerは、3DGS表現の表現品質を向上させるための新しいパイプラインである。
論文 参考訳（メタデータ） (2024-10-21T17:59:09Z) - Dense Point Clouds Matter: Dust-GS for Scene Reconstruction from Sparse Viewpoints [9.069919085326]
3D Gaussian Splatting (3DGS) はシーン合成および新しいビュー合成タスクにおいて顕著な性能を示した。
本研究では,スパース視点条件下での3DGSの限界を克服する新しいフレームワークであるDust-GSを提案する。
論文 参考訳（メタデータ） (2024-09-13T07:59:15Z) - WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。
写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。
提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
論文 参考訳（メタデータ） (2024-06-04T15:17:37Z) - LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。
実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
論文 参考訳（メタデータ） (2024-05-29T05:58:34Z) - SafeguardGS: 3D Gaussian Primitive Pruning While Avoiding Catastrophic Scene Destruction [45.654397516679495]
3DGSは、リアルタイムのレンダリング速度を達成しつつ、トップノッチのレンダリング品質を実証し、新しいビュー合成において大きな進歩を遂げた。
3DGSの準最適デンシフィケーションプロセスから生じるガウス原始体の過多は、フレーム/秒(FPS)を遅くし、かなりのメモリコストを要求するという大きな課題を引き起こす。
まず,3DGSプルーニング手法を2つのタイプに分類する: クロスビュープルーニングとピクセルワイズプルーニングで,プリミティブのランク付け方法が異なる。
論文 参考訳（メタデータ） (2024-05-28T03:41:36Z) - SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。
SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
論文 参考訳（メタデータ） (2024-04-29T23:26:30Z) - Bootstrap 3D Reconstructed Scenes from 3D Gaussian Splatting [10.06208115191838]
トレーニングされた3D-GSを用いて,新しいビューのレンダリングを強化するブートストラップ手法を提案する。
以上の結果から,ブートストレッピングはアーティファクトを効果的に削減し,評価指標の明確化を図っている。
論文 参考訳（メタデータ） (2024-04-29T12:57:05Z) - SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。
この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。
そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
論文 参考訳（メタデータ） (2024-03-29T09:20:29Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳（メタデータ） (2024-02-22T16:00:20Z) - S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である
これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。
本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-22T11:40:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。