論文の概要: ForestSplats: Deformable transient field for Gaussian Splatting in the Wild

• arxiv url: http://arxiv.org/abs/2503.06179v1
• Date: Sat, 08 Mar 2025 11:44:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:49:18.048701
• Title: ForestSplats: Deformable transient field for Gaussian Splatting in the Wild
• Title（参考訳）: 森林スプラット:野生のガウススプラッティングのための変形可能な過渡場
• Authors: Wongi Park, Myeongseok Nam, Siwon Kim, Sangwoo Jo, Soomok Lee,
• Abstract要約: 3D-GSは静的なシーンでは有効性を示すが、実際の環境では性能が著しく低下する。 変形可能な過渡場とスーパーピクセル対応マスクを利用する新しいアプローチであるフォレストスプラッツを提案する。
• 参考スコア（独自算出の注目度）: 7.260126436331847
• License:
• Abstract: Recently, 3D Gaussian Splatting (3D-GS) has emerged, showing real-time rendering speeds and high-quality results in static scenes. Although 3D-GS shows effectiveness in static scenes, their performance significantly degrades in real-world environments due to transient objects, lighting variations, and diverse levels of occlusion. To tackle this, existing methods estimate occluders or transient elements by leveraging pre-trained models or integrating additional transient field pipelines. However, these methods still suffer from two defects: 1) Using semantic features from the Vision Foundation model (VFM) causes additional computational costs. 2) The transient field requires significant memory to handle transient elements with per-view Gaussians and struggles to define clear boundaries for occluders, solely relying on photometric errors. To address these problems, we propose ForestSplats, a novel approach that leverages the deformable transient field and a superpixel-aware mask to efficiently represent transient elements in the 2D scene across unconstrained image collections and effectively decompose static scenes from transient distractors without VFM. We designed the transient field to be deformable, capturing per-view transient elements. Furthermore, we introduce a superpixel-aware mask that clearly defines the boundaries of occluders by considering photometric errors and superpixels. Additionally, we propose uncertainty-aware densification to avoid generating Gaussians within the boundaries of occluders during densification. Through extensive experiments across several benchmark datasets, we demonstrate that ForestSplats outperforms existing methods without VFM and shows significant memory efficiency in representing transient elements.
• Abstract（参考訳）: 近年,3Dガウススプラッティング(3D-GS)が出現し,静的シーンにおけるリアルタイムレンダリング速度と高品質な結果が示されている。 3D-GSは静的なシーンにおいて有効性を示すが、その性能は、過渡的なオブジェクト、照明のバリエーション、様々なレベルの閉塞により、現実世界の環境において著しく低下する。 これを解決するために既存の手法では、事前訓練されたモデルを利用するか、追加の過渡的なフィールドパイプラインを統合することで、オクローダや過渡的な要素を推定する。 しかし、これらの方法は依然として2つの欠陥に悩まされている。 1)Vision Foundation Model(VFM)のセマンティック機能を使用することで,計算コストが増大する。 2) 過渡的フィールドは、ビューごとのガウス的要素を扱うために大きなメモリを必要とし、光度誤差のみに依存するオクルーダーの明確な境界を定義するのに苦労する。 このような問題に対処するために、変形可能なトランジェントフィールドとスーパーピクセル対応マスクを活用して、制約のない画像コレクション間で2次元シーンの過渡要素を効率よく表現し、VFMを使わずに静的なシーンを静的に分解する手法であるForestSplatsを提案する。 我々は、過渡的なフィールドを変形可能に設計し、ビュー毎の過渡的な要素をキャプチャした。 さらに,光度誤差とスーパーピクセルを考慮し,Occluderの境界を明確に定義するスーパーピクセル対応マスクを提案する。 また, オーククローダの境界内にガウスを発生させるのを避けるため, 不確実性を考慮したデンシフィケーションを提案する。 いくつかのベンチマークデータセットの広範な実験を通して、ForestSplatsはVFMなしで既存の手法より優れており、過渡的要素を表現する際のメモリ効率がかなり高いことを示す。

関連論文リスト

• MCGS: Multiview Consistency Enhancement for Sparse-View 3D Gaussian Radiance Fields [73.49548565633123]
  3Dガウシアンによって表現される放射場は、高いトレーニング効率と高速レンダリングの両方を提供する、新しいビューの合成に優れている。 既存の手法では、高密度推定ネットワークからの奥行き先を組み込むことが多いが、入力画像に固有の多視点一貫性を見落としている。 本稿では,3次元ガウス・スプレイティング(MCGS)に基づくビュー・フレームワークを提案し,スパークス・インプット・ビューからシーンを再構築する。
  論文  参考訳（メタデータ） (2024-10-15T08:39:05Z)
• Wild-GS: Real-Time Novel View Synthesis from Unconstrained Photo Collections [30.321151430263946]
  本稿では、制約のない写真コレクションに最適化された3DGSの革新的な適応であるWild-GSについて述べる。 Wild-GSは、それぞれの3Dガウスの出現を、その固有の材料特性、大域照明と画像当たりのカメラ特性、反射率の点レベルの局所的ばらつきによって決定する。 この斬新な設計は、参照ビューの高周波詳細外観を3次元空間に効果的に転送し、トレーニングプロセスを大幅に高速化する。
  論文  参考訳（メタデータ） (2024-06-14T19:06:07Z)
• Gaussian Splatting with Localized Points Management [52.009874685460694]
  局所的点管理(LPM)は、点加算と幾何校正の双方の最も高い需要において、これらの誤り貢献ゾーンを特定することができる。 LPMは特定ゾーンに点密度を適用し、これらの領域の前に位置する点の不透明度をリセットし、不条件点を補正する新たな機会を創出する。 特に、LPMはバニラ3DGSとSpaceTimeGSの両方を改善して、リアルタイム速度を維持しながら最先端のレンダリング品質を実現している。
  論文  参考訳（メタデータ） (2024-06-06T16:55:07Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields [54.482261428543985]
  ニューラル・ラジアンス・フィールドを使用する手法は、新しいビュー合成のような従来のタスクに汎用的である。 3次元ガウシアンスプラッティングは, 実時間ラディアンス場レンダリングにおける最先端の性能を示した。 この問題を効果的に回避するために,アーキテクチャとトレーニングの変更を提案する。
  論文  参考訳（メタデータ） (2023-12-06T00:46:30Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• Mutual Information-driven Triple Interaction Network for Efficient Image Dehazing [54.168567276280505]
  画像デハージングのための相互情報駆動型トリプルインタラクションネットワーク(MITNet)を提案する。 振幅誘導ヘイズ除去と呼ばれる第1段階は、ヘイズ除去のためのヘイズ画像の振幅スペクトルを復元することを目的としている。 第2段階は位相誘導構造が洗練され、位相スペクトルの変換と微細化を学ぶことに尽力した。
  論文  参考訳（メタデータ） (2023-08-14T08:23:58Z)
• Frequency-Aware Self-Supervised Monocular Depth Estimation [41.97188738587212]
  自己教師付き単眼深度推定モデルを改善するための2つの多目的手法を提案する。 本手法の高一般化性は,測光損失関数の基本的およびユビキタスな問題を解くことによって達成される。 我々は、解釈可能な解析で深度推定器を改善するために、初めてぼやけた画像を提案する。
  論文  参考訳（メタデータ） (2022-10-11T14:30:26Z)
• Polarimetric SAR Image Semantic Segmentation with 3D Discrete Wavelet Transform and Markov Random Field [32.59900433812833]
  本稿では,文脈的PolSAR画像セマンティックセグメンテーション手法を提案する。 3D-DWT手法は,新たに定義したチャネル的に一貫した特徴を入力として,スペックルノイズに頑健な識別的マルチスケール特徴を抽出する。 3D-DWT機能とMRFプリエントを同時に活用することにより、セグメンテーション中にコンテキスト情報が完全に統合され、正確かつスムーズなセグメンテーションが保証される。
  論文  参考訳（メタデータ） (2020-08-05T08:28:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。