論文の概要: SPARS3R: Semantic Prior Alignment and Regularization for Sparse 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2411.12592v1
• Date: Fri, 15 Nov 2024 20:06:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:36:30.072856
• Title: SPARS3R: Semantic Prior Alignment and Regularization for Sparse 3D Reconstruction
• Title（参考訳）: SPARS3R : スパース3次元再構成における意味的事前アライメントと規則化
• Authors: Yutao Tang, Yuxiang Guo, Deming Li, Cheng Peng,
• Abstract要約: 本研究では,SPARS3Rを提案する。このSPARS3Rは,深度推定から構造移動と高密度点雲からの正確なポーズ推定を合成する。 我々は,SPARS3Rがスパース画像によるフォトリアリスティックレンダリングを実現し,既存の手法よりも大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 4.65865684655582
• License:
• Abstract: Recent efforts in Gaussian-Splat-based Novel View Synthesis can achieve photorealistic rendering; however, such capability is limited in sparse-view scenarios due to sparse initialization and over-fitting floaters. Recent progress in depth estimation and alignment can provide dense point cloud with few views; however, the resulting pose accuracy is suboptimal. In this work, we present SPARS3R, which combines the advantages of accurate pose estimation from Structure-from-Motion and dense point cloud from depth estimation. To this end, SPARS3R first performs a Global Fusion Alignment process that maps a prior dense point cloud to a sparse point cloud from Structure-from-Motion based on triangulated correspondences. RANSAC is applied during this process to distinguish inliers and outliers. SPARS3R then performs a second, Semantic Outlier Alignment step, which extracts semantically coherent regions around the outliers and performs local alignment in these regions. Along with several improvements in the evaluation process, we demonstrate that SPARS3R can achieve photorealistic rendering with sparse images and significantly outperforms existing approaches.
• Abstract（参考訳）: ガウス・スプラトをベースとしたノベルビュー合成における最近の取り組みは、光写実的レンダリングを実現することができるが、疎初期化と過度に適合するフローターによるスパースビューのシナリオでは、そのような能力は限定的である。 深度推定とアライメントの最近の進歩は、視界がほとんどない高密度の点雲を提供することができるが、結果として得られるポーズの精度は準最適である。 本研究では,SPARS3Rを提案する。このSPARS3Rは,深度推定による構造移動と高密度点雲からの正確なポーズ推定の利点を組み合わせたものである。 この目的のために、SPARS3Rは、三角対応に基づく構造運動から、先述の高密度点雲をスパース点雲にマッピングするGlobal Fusion Alignmentプロセスを実行する。 RANSACは、この過程で不整点と不整点を区別するために用いられる。 SPARS3Rは第2のセマンティック・アウトリー・アライメント(Semantic Outlier Alignment)ステップを実行し、アウトリーチ周辺のセマンティック・コヒーレントな領域を抽出し、これらの領域を局所的にアライメントする。 評価プロセスのいくつかの改善とともに、SPARS3Rはスパース画像によるフォトリアリスティックレンダリングを実現し、既存のアプローチよりも大幅に優れていることを示す。

関連論文リスト

• MultiPull: Detailing Signed Distance Functions by Pulling Multi-Level Queries at Multi-Step [48.812388649469106]
  粗いSDFを粗い値から細かい値に最適化することにより,原点雲から多スケール暗黙フィールドを学習する手法を提案する。 広く使われているオブジェクトとシーンのベンチマーク実験により,この手法は表面再構成における最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-02T10:50:22Z)
• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• LoopSparseGS: Loop Based Sparse-View Friendly Gaussian Splatting [18.682864169561498]
  LoopSparseGSは、疎結合なビュー合成タスクのためのループベースの3DGSフレームワークである。 Sparse-Friended Smpling (SFS) 戦略を導入し,ガウス楕円体を過剰に処理し,画素誤差が大きくなった。 4つのデータセットの実験により、LoopSparseGSはスパース・インプット・ノベルビューの合成において既存の最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-01T03:26:50Z)
• InstantSplat: Sparse-view SfM-free Gaussian Splatting in Seconds [91.77050739918037]
  スパース画像からの新しいビュー合成(NVS)は3次元コンピュータビジョンにおいて大きく進歩している。 これはStructure-from-Motion (SfM) を用いたカメラパラメータの正確な初期推定に依存する 本研究では,スパースビュー画像から堅牢なNVSを向上するための,新規で効率的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-29T17:29:58Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)
• Deep Point Cloud Reconstruction [74.694733918351]
  3Dスキャンから得られる点雲は、しばしばスパース、ノイズ、不規則である。 これらの問題に対処するため、最近の研究は別々に行われ、不正確な点雲を密度化、復調し、完全な不正確な点雲を観測している。 本研究では,1) 初期密度化とデノナイズのための3次元スパース集積時間ガラスネットワーク,2) 離散ボクセルを3Dポイントに変換するトランスフォーマーによる改良,の2段階からなる深部点雲再構成ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-11-23T07:53:28Z)
• Ladybird: Quasi-Monte Carlo Sampling for Deep Implicit Field Based 3D Reconstruction with Symmetry [12.511526058118143]
  本稿では,SGDに基づく最適化アルゴリズムの一般化と高速収束を理論的に促進するサンプリング手法を提案する。 物体の反射対称性に基づいて,自己閉塞による問題を緩和する特徴融合法を提案する。 提案システムでは,単一入力画像から高品質な3Dオブジェクト再構成を行うことができる。
  論文  参考訳（メタデータ） (2020-07-27T09:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。