論文の概要: Does Gaussian Splatting need SFM Initialization?
- arxiv url: http://arxiv.org/abs/2404.12547v2
- Date: Mon, 22 Apr 2024 17:35:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 12:38:52.536546
- Title: Does Gaussian Splatting need SFM Initialization?
- Title(参考訳): ガウススティングはSFM初期化を必要とするか?
- Authors: Yalda Foroutan, Daniel Rebain, Kwang Moo Yi, Andrea Tagliasacchi,
- Abstract要約: 3次元ガウススプラッティングは、シーン再構成と新規なビュー合成のための汎用的で効果的な方法として受け入れられている。
Structure-from-Motion (SFM) アルゴリズムは克服すべき重要な限界である。
SFMデータへの依存を回避するために、NeRF再構成をどのように利用できるかを示す。
- 参考スコア(独自算出の注目度): 31.724777502129918
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting has recently been embraced as a versatile and effective method for scene reconstruction and novel view synthesis, owing to its high-quality results and compatibility with hardware rasterization. Despite its advantages, Gaussian Splatting's reliance on high-quality point cloud initialization by Structure-from-Motion (SFM) algorithms is a significant limitation to be overcome. To this end, we investigate various initialization strategies for Gaussian Splatting and delve into how volumetric reconstructions from Neural Radiance Fields (NeRF) can be utilized to bypass the dependency on SFM data. Our findings demonstrate that random initialization can perform much better if carefully designed and that by employing a combination of improved initialization strategies and structure distillation from low-cost NeRF models, it is possible to achieve equivalent results, or at times even superior, to those obtained from SFM initialization.
- Abstract(参考訳): 3Dガウススプラッティングは, 高品質な結果とハードウェアのラスタ化との整合性から, シーン再構成と新しいビュー合成の汎用的で効果的な手法として近年採用されている。
その利点にも拘わらず、Structure-from-Motion (SFM)アルゴリズムによる高品質の点雲初期化への依存は克服すべき重要な限界である。
そこで我々は, ニューラルレイディアンスフィールド(NeRF)からの体積再構成を用いて, SFMデータへの依存を回避し, ガウシアン・スティングの様々な初期化戦略について検討した。
提案手法は, 改良された初期化戦略と低コストNeRFモデルによる構造蒸留を組み合わせることで, SFMの初期化結果と同等, あるいはそれ以上に優れた結果が得られることを示した。
関連論文リスト
- GaussianCube: Structuring Gaussian Splatting using Optimal Transport for 3D Generative Modeling [55.05713977022407]
3次元ガウス散乱(GS)は3次元適合率とレンダリング速度の点でニューラルレイディアンス場よりも大幅に改善されている。
散在したガウス群によるこの非構造表現は、生成的モデリングにとって重要な課題である。
本稿では,GaussianCubeについて紹介する。
論文 参考訳(メタデータ) (2024-03-28T17:59:50Z) - Relaxing Accurate Initialization Constraint for 3D Gaussian Splatting [29.58220473268378]
3次元ガウス切削における正確な初期化制約の緩和)と呼ばれる新しい最適化手法を提案する。
複数のデータセットに対する定量的および定性的な比較による戦略の有効性を示し、全ての設定における性能を大幅に改善した。
論文 参考訳(メタデータ) (2024-03-14T14:04:21Z) - Residual Multiplicative Filter Networks for Multiscale Reconstruction [24.962697695403037]
我々は,学習した再構成の周波数サポートをきめ細かな制御で粗大な最適化を可能にする,新しい座標ネットワークアーキテクチャとトレーニング手法を提案する。
これらの修正によって、自然画像への粗大なフィッティングのマルチスケール最適化が実現されることを示す。
次に, 単粒子Creo-EM再構成問題に対する合成データセットのモデル評価を行った。
論文 参考訳(メタデータ) (2022-06-01T20:16:28Z) - A Unifying Multi-sampling-ratio CS-MRI Framework With Two-grid-cycle
Correction and Geometric Prior Distillation [7.643154460109723]
本稿では,モデルベースと深層学習に基づく手法の利点を融合して,深層展開型マルチサンプリング比CS-MRIフレームワークを提案する。
マルチグリッドアルゴリズムにインスパイアされ、まずCS-MRIに基づく最適化アルゴリズムを補正蒸留方式に組み込む。
各段の圧縮サンプリング比から適応的なステップ長と雑音レベルを学習するために条件モジュールを用いる。
論文 参考訳(メタデータ) (2022-05-14T13:36:27Z) - Towards performant and reliable undersampled MR reconstruction via
diffusion model sampling [67.73698021297022]
DiffuseReconは拡散モデルに基づく新しいMR再構成法である。
観測された信号に基づいて生成過程を導出する。
特定の加速因子に関する追加の訓練は必要としない。
論文 参考訳(メタデータ) (2022-03-08T02:25:38Z) - NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor
Multi-view Stereo [97.07453889070574]
本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。
提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
論文 参考訳(メタデータ) (2021-09-02T17:54:31Z) - NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。
この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。
我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文 参考訳(メタデータ) (2021-06-09T17:59:10Z) - Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。
我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。
数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
論文 参考訳(メタデータ) (2020-11-18T16:40:45Z) - Deep Low-rank plus Sparse Network for Dynamic MR Imaging [18.09395940969876]
動的MR再構成のためのモデルベース低ランク+スパースネットワークL+S-Netを提案する。
振り返りおよび将来的な心血管データセットの実験により、提案モデルは最先端のCSおよび既存のディープラーニング手法より優れていることが示された。
論文 参考訳(メタデータ) (2020-10-26T15:55:24Z) - Neural Network-based Reconstruction in Compressed Sensing MRI Without
Fully-sampled Training Data [17.415937218905125]
CS-MRIは、アンダーサンプリングされたMR画像の再構成を約束している。
ニューラルネットワークで繰り返しをアンロールすることで、古典的なテクニックの反復性をモデル化するディープラーニングモデルが開発されている。
本稿では,古典的最適化方式で広く用いられている損失関数を応用して,非学習型再構成ネットワークを教師なしで訓練するための新しい戦略について検討する。
論文 参考訳(メタデータ) (2020-07-29T17:46:55Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。