論文の概要: Epipolar-Free 3D Gaussian Splatting for Generalizable Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2410.22817v2
• Date: Thu, 31 Oct 2024 07:07:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 09:54:57.314832
• Title: Epipolar-Free 3D Gaussian Splatting for Generalizable Novel View Synthesis
• Title（参考訳）: 一般化可能な新規な視点合成のためのエピポーラフリー3次元ガウススプラッティング
• Authors: Zhiyuan Min, Yawei Luo, Jianwen Sun, Yi Yang,
• Abstract要約: 一般化可能な3DGSは、フィードフォワード推論方式でスパースビュー観測から新しいシーンを再構築することができる。 既存の手法は、複雑な現実世界のシーンでは信頼できないエピポーラ先行に大きく依存している。 一般化可能な新規ビュー合成のための効率的なフィードフォワード3DGSモデルであるeFreeSplatを提案する。
• 参考スコア（独自算出の注目度）: 25.924727931514735
• License:
• Abstract: Generalizable 3D Gaussian splitting (3DGS) can reconstruct new scenes from sparse-view observations in a feed-forward inference manner, eliminating the need for scene-specific retraining required in conventional 3DGS. However, existing methods rely heavily on epipolar priors, which can be unreliable in complex realworld scenes, particularly in non-overlapping and occluded regions. In this paper, we propose eFreeSplat, an efficient feed-forward 3DGS-based model for generalizable novel view synthesis that operates independently of epipolar line constraints. To enhance multiview feature extraction with 3D perception, we employ a selfsupervised Vision Transformer (ViT) with cross-view completion pre-training on large-scale datasets. Additionally, we introduce an Iterative Cross-view Gaussians Alignment method to ensure consistent depth scales across different views. Our eFreeSplat represents an innovative approach for generalizable novel view synthesis. Different from the existing pure geometry-free methods, eFreeSplat focuses more on achieving epipolar-free feature matching and encoding by providing 3D priors through cross-view pretraining. We evaluate eFreeSplat on wide-baseline novel view synthesis tasks using the RealEstate10K and ACID datasets. Extensive experiments demonstrate that eFreeSplat surpasses state-of-the-art baselines that rely on epipolar priors, achieving superior geometry reconstruction and novel view synthesis quality. Project page: https://tatakai1.github.io/efreesplat/.
• Abstract（参考訳）: 一般化可能な3Dガウス分割(3DGS)は、従来の3DGSで必要とされるシーン固有のリトレーニングの必要性をなくし、フィードフォワード推論方式でスパースビューの観察から新しいシーンを再構築することができる。 しかし、既存の手法は、特に重複しない領域や隠蔽領域において、複雑な現実世界のシーンでは信頼性が低いエピポーラ先行に大きく依存している。 本稿では,高効率なフィードフォワード3DGSモデルであるeFreeSplatを提案する。 3次元知覚によるマルチビュー特徴抽出を強化するために,大規模データセット上でのクロスビュー完了事前トレーニングを備えた自己教師付き視覚変換器(ViT)を用いる。 さらに,異なる視点にまたがる一貫した深度スケールを確保するために,反復的クロスビューガウスアライメント手法を導入する。 我々のeFreeSplatは、一般化可能な新規ビュー合成のための革新的なアプローチである。 既存の純幾何学的手法とは異なり、eFreeSplatは、クロスビュー事前学習による3D事前学習を提供することで、エピポーラフリーな特徴マッチングと符号化の実現に重点を置いている。 我々は、RealEstate10KとACIDデータセットを用いて、広ベースラインの新規ビュー合成タスクにおいてeFreeSplatを評価する。 大規模な実験により、eFreeSplatはエピポーラ前駆体に依存している最先端のベースラインを超越し、優れた幾何学的再構成と新しいビュー合成品質を達成することが示されている。 プロジェクトページ: https://tatakai1.github.io/efreesplat/。

関連論文リスト

• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction [46.269350101349715]
  HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。 階層的な3Dガウスを粗大な戦略で生成する。 これにより、再構築品質とデータセット間の一般化が大幅に向上する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:32Z)
• Splatt3R: Zero-shot Gaussian Splatting from Uncalibrated Image Pairs [29.669534899109028]
  Splatt3Rはポーズレスフィードフォワード方式で,立体対からの3次元再構成と新しいビュー合成を行う。 Splatt3Rは補正されていない自然画像から、カメラパラメータや深度情報を必要とせずに3Dガウススプラッターを予測できる。 Splatt3Rは512 x 512の解像度で4FPSでシーンを再構築でき、その結果のスプラッターをリアルタイムでレンダリングできる。
  論文  参考訳（メタデータ） (2024-08-25T18:27:20Z)
• FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
  FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。 ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-28T08:40:14Z)
• SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
  本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。 SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
  論文  参考訳（メタデータ） (2024-04-29T23:26:30Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)
• Entangled View-Epipolar Information Aggregation for Generalizable Neural Radiance Fields [28.549053233615382]
  一般化可能なNeRFは、新しいシーンにまたがる新しいビューを合成することができ、バニラのNeRFでシーン固有のリトレーニングを不要にする。 EVE-NeRFと呼ばれるエンタングルビュー・エピポーラ情報集約手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。