論文の概要: Flow Distillation Sampling: Regularizing 3D Gaussians with Pre-trained Matching Priors

• arxiv url: http://arxiv.org/abs/2502.07615v1
• Date: Tue, 11 Feb 2025 15:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:07:32.425768
• Title: Flow Distillation Sampling: Regularizing 3D Gaussians with Pre-trained Matching Priors
• Title（参考訳）: フロー蒸留サンプリング:事前学習による3次元ガウスの正規化
• Authors: Lin-Zhuo Chen, Kangjie Liu, Youtian Lin, Siyu Zhu, Zhihao Li, Xun Cao, Yao Yao,
• Abstract要約: 3D Gaussian Splatting (3DGS)は、高速なトレーニングとレンダリング速度で優れたレンダリング品質を実現している。 しかし、その最適化プロセスには明示的な幾何的制約が欠如しており、観察的な入力ビューの少ない領域で最適でない幾何的再構成をもたらす。 本稿では,ガウス放射場の精度を高めるために,事前学習した幾何学的知識を活用したフロー蒸留サンプリング(FDS)を紹介する。
• 参考スコア（独自算出の注目度）: 18.381635530507978
• License:
• Abstract: 3D Gaussian Splatting (3DGS) has achieved excellent rendering quality with fast training and rendering speed. However, its optimization process lacks explicit geometric constraints, leading to suboptimal geometric reconstruction in regions with sparse or no observational input views. In this work, we try to mitigate the issue by incorporating a pre-trained matching prior to the 3DGS optimization process. We introduce Flow Distillation Sampling (FDS), a technique that leverages pre-trained geometric knowledge to bolster the accuracy of the Gaussian radiance field. Our method employs a strategic sampling technique to target unobserved views adjacent to the input views, utilizing the optical flow calculated from the matching model (Prior Flow) to guide the flow analytically calculated from the 3DGS geometry (Radiance Flow). Comprehensive experiments in depth rendering, mesh reconstruction, and novel view synthesis showcase the significant advantages of FDS over state-of-the-art methods. Additionally, our interpretive experiments and analysis aim to shed light on the effects of FDS on geometric accuracy and rendering quality, potentially providing readers with insights into its performance. Project page: https://nju-3dv.github.io/projects/fds
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS)は、高速なトレーニングとレンダリング速度で優れたレンダリング品質を実現している。 しかし、その最適化プロセスには明示的な幾何的制約が欠如しており、観察的な入力ビューの少ない領域で最適でない幾何的再構成をもたらす。 本研究では,3DGS最適化プロセスに先立って事前学習したマッチングを組み込むことにより,この問題を軽減することを試みる。 本稿では,ガウス放射場の精度を高めるために,事前学習した幾何学的知識を活用したフロー蒸留サンプリング(FDS)を紹介する。 提案手法では, 入力ビューに隣接する未観測ビューを対象として, マッチングモデル (Prior Flow) から算出した光フローを利用して, 3DGS 形状 (Radiance Flow) から算出した流れを導出する。 深度レンダリング、メッシュ再構成、新しいビュー合成における総合的な実験は、最先端の手法よりもFDSの顕著な利点を示している。 さらに,我々の解釈実験と分析は,FDSが幾何的精度とレンダリング品質に与える影響に光を当てることを目的としており,その性能に関する洞察を読者に提供する可能性がある。 プロジェクトページ:https://nju-3dv.github.io/projects/fds

関連論文リスト

• Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis [11.236094544193605]
  従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。 本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:23:08Z)
• Efficient Depth-Guided Urban View Synthesis [52.841803876653465]
  高速フィードフォワード推論とシーンごとのファインチューニングのための効率的な深層誘導型都市ビュー合成(EDUS)を提案する。 EDUSは、粗い入力画像から一般化可能な都市ビュー合成を可能にするためのガイダンスとして、ノイズの多い幾何学的先行情報を利用する。 その結果,EDUSは高速なテスト時間最適化と組み合わせることで,スパース・ビュー・セッティングにおける最先端性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-07-17T08:16:25Z)
• Free-SurGS: SfM-Free 3D Gaussian Splatting for Surgical Scene Reconstruction [36.46068581419659]
  手術シーンのリアルタイム3D再構成は,コンピュータ支援手術において重要な役割を担っている。 近年の3次元ガウススプラッティングの進歩は、リアルタイムな新規なビュー合成に大きな可能性を示している。 外科的シーン再構成のためのSfMフリー3DGS法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T08:49:35Z)
• GaussianRoom: Improving 3D Gaussian Splatting with SDF Guidance and Monocular Cues for Indoor Scene Reconstruction [3.043712258792239]
  ニューラルネットワークSDFと3DGSを統合した統合フレームワークを提案する。 このフレームワークには学習可能なニューラルネットワークSDFフィールドが組み込まれており、ガウスの密度化と刈り取りをガイドしている。 本手法は, 表面再構成と新しいビュー合成の両面において, 最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-05-30T03:46:59Z)
• SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
  本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。 SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
  論文  参考訳（メタデータ） (2024-04-29T23:26:30Z)
• Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
  Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。 GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。 GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
  論文  参考訳（メタデータ） (2024-04-16T17:57:19Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。