論文の概要: Flow Distillation Sampling: Regularizing 3D Gaussians with Pre-trained Matching Priors
- arxiv url: http://arxiv.org/abs/2502.07615v1
- Date: Tue, 11 Feb 2025 15:05:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-12 18:22:48.205306
- Title: Flow Distillation Sampling: Regularizing 3D Gaussians with Pre-trained Matching Priors
- Title（参考訳）: フロー蒸留サンプリング:事前学習による3次元ガウスの正規化
- Authors: Lin-Zhuo Chen, Kangjie Liu, Youtian Lin, Siyu Zhu, Zhihao Li, Xun Cao, Yao Yao,
- Abstract要約: 3D Gaussian Splatting (3DGS)は、高速なトレーニングとレンダリング速度で優れたレンダリング品質を実現している。
しかし、その最適化プロセスには明示的な幾何的制約が欠如しており、観察的な入力ビューの少ない領域で最適でない幾何的再構成をもたらす。
本稿では,ガウス放射場の精度を高めるために,事前学習した幾何学的知識を活用したフロー蒸留サンプリング(FDS)を紹介する。
- 参考スコア（独自算出の注目度）: 18.381635530507978
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D Gaussian Splatting (3DGS) has achieved excellent rendering quality with fast training and rendering speed. However, its optimization process lacks explicit geometric constraints, leading to suboptimal geometric reconstruction in regions with sparse or no observational input views. In this work, we try to mitigate the issue by incorporating a pre-trained matching prior to the 3DGS optimization process. We introduce Flow Distillation Sampling (FDS), a technique that leverages pre-trained geometric knowledge to bolster the accuracy of the Gaussian radiance field. Our method employs a strategic sampling technique to target unobserved views adjacent to the input views, utilizing the optical flow calculated from the matching model (Prior Flow) to guide the flow analytically calculated from the 3DGS geometry (Radiance Flow). Comprehensive experiments in depth rendering, mesh reconstruction, and novel view synthesis showcase the significant advantages of FDS over state-of-the-art methods. Additionally, our interpretive experiments and analysis aim to shed light on the effects of FDS on geometric accuracy and rendering quality, potentially providing readers with insights into its performance. Project page: https://nju-3dv.github.io/projects/fds
- Abstract（参考訳）: 3D Gaussian Splatting (3DGS)は、高速なトレーニングとレンダリング速度で優れたレンダリング品質を実現している。
しかし、その最適化プロセスには明示的な幾何的制約が欠如しており、観察的な入力ビューの少ない領域で最適でない幾何的再構成をもたらす。
本研究では,3DGS最適化プロセスに先立って事前学習したマッチングを組み込むことにより,この問題を軽減することを試みる。
本稿では,ガウス放射場の精度を高めるために,事前学習した幾何学的知識を活用したフロー蒸留サンプリング(FDS)を紹介する。
提案手法では, 入力ビューに隣接する未観測ビューを対象として, マッチングモデル (Prior Flow) から算出した光フローを利用して, 3DGS 形状 (Radiance Flow) から算出した流れを導出する。
深度レンダリング、メッシュ再構成、新しいビュー合成における総合的な実験は、最先端の手法よりもFDSの顕著な利点を示している。
さらに,我々の解釈実験と分析は,FDSが幾何的精度とレンダリング品質に与える影響に光を当てることを目的としており,その性能に関する洞察を読者に提供する可能性がある。
プロジェクトページ:https://nju-3dv.github.io/projects/fds
関連論文リスト
- EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。
本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
論文 参考訳（メタデータ） (2025-03-26T02:47:27Z) - Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis [11.236094544193605]
従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。
本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
論文 参考訳（メタデータ） (2024-08-10T21:23:08Z) - Free-SurGS: SfM-Free 3D Gaussian Splatting for Surgical Scene Reconstruction [36.46068581419659]
手術シーンのリアルタイム3D再構成は,コンピュータ支援手術において重要な役割を担っている。
近年の3次元ガウススプラッティングの進歩は、リアルタイムな新規なビュー合成に大きな可能性を示している。
外科的シーン再構成のためのSfMフリー3DGS法を提案する。
論文 参考訳（メタデータ） (2024-07-03T08:49:35Z) - GaussianRoom: Improving 3D Gaussian Splatting with SDF Guidance and Monocular Cues for Indoor Scene Reconstruction [3.043712258792239]
ニューラルネットワークSDFと3DGSを統合した統合フレームワークを提案する。
このフレームワークには学習可能なニューラルネットワークSDFフィールドが組み込まれており、ガウスの密度化と刈り取りをガイドしている。
本手法は, 表面再構成と新しいビュー合成の両面において, 最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-05-30T03:46:59Z) - SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。
SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
論文 参考訳（メタデータ） (2024-04-29T23:26:30Z) - Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。
GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。
GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
論文 参考訳（メタデータ） (2024-04-16T17:57:19Z) - GS2Mesh: Surface Reconstruction from Gaussian Splatting via Novel Stereo Views [9.175560202201819]
3Dガウススプラッティング(3DGS)はシーンを正確に表現するための効率的なアプローチとして登場した。
本稿では,ノイズの多い3DGS表現とスムーズな3Dメッシュ表現とのギャップを埋めるための新しい手法を提案する。
私たちは、オリジナルのトレーニングポーズに対応するステレオアライメントされたイメージのペアをレンダリングし、ペアをステレオモデルに入力して深度プロファイルを取得し、最後にすべてのプロファイルを融合して単一のメッシュを得る。
論文 参考訳（メタデータ） (2024-04-02T10:13:18Z) - DN-Splatter: Depth and Normal Priors for Gaussian Splatting and Meshing [19.437747560051566]
カラー画像の勾配に基づく適応的な深度損失を提案し、様々なベースライン上での深度推定と新しいビュー合成結果を改善した。
我々の単純かつ効果的な正則化技術はガウス表現からの直接メッシュ抽出を可能にし、屋内シーンのより物理的に正確な再構築を可能にする。
論文 参考訳（メタデータ） (2024-03-26T16:00:31Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳（メタデータ） (2024-02-22T16:00:20Z) - FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。
このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。
FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-12-01T09:30:02Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。