論文の概要: ForestSplats: Deformable transient field for Gaussian Splatting in the Wild
- arxiv url: http://arxiv.org/abs/2503.06179v1
- Date: Sat, 08 Mar 2025 11:44:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 20:09:44.227712
- Title: ForestSplats: Deformable transient field for Gaussian Splatting in the Wild
- Title（参考訳）: 森林スプラット:野生のガウススプラッティングのための変形可能な過渡場
- Authors: Wongi Park, Myeongseok Nam, Siwon Kim, Sangwoo Jo, Soomok Lee,
- Abstract要約: 3D-GSは静的なシーンでは有効性を示すが、実際の環境では性能が著しく低下する。
変形可能な過渡場とスーパーピクセル対応マスクを利用する新しいアプローチであるフォレストスプラッツを提案する。
- 参考スコア（独自算出の注目度）: 7.260126436331847
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, 3D Gaussian Splatting (3D-GS) has emerged, showing real-time rendering speeds and high-quality results in static scenes. Although 3D-GS shows effectiveness in static scenes, their performance significantly degrades in real-world environments due to transient objects, lighting variations, and diverse levels of occlusion. To tackle this, existing methods estimate occluders or transient elements by leveraging pre-trained models or integrating additional transient field pipelines. However, these methods still suffer from two defects: 1) Using semantic features from the Vision Foundation model (VFM) causes additional computational costs. 2) The transient field requires significant memory to handle transient elements with per-view Gaussians and struggles to define clear boundaries for occluders, solely relying on photometric errors. To address these problems, we propose ForestSplats, a novel approach that leverages the deformable transient field and a superpixel-aware mask to efficiently represent transient elements in the 2D scene across unconstrained image collections and effectively decompose static scenes from transient distractors without VFM. We designed the transient field to be deformable, capturing per-view transient elements. Furthermore, we introduce a superpixel-aware mask that clearly defines the boundaries of occluders by considering photometric errors and superpixels. Additionally, we propose uncertainty-aware densification to avoid generating Gaussians within the boundaries of occluders during densification. Through extensive experiments across several benchmark datasets, we demonstrate that ForestSplats outperforms existing methods without VFM and shows significant memory efficiency in representing transient elements.
- Abstract（参考訳）: 近年,3Dガウススプラッティング(3D-GS)が出現し,静的シーンにおけるリアルタイムレンダリング速度と高品質な結果が示されている。
3D-GSは静的なシーンにおいて有効性を示すが、その性能は、過渡的なオブジェクト、照明のバリエーション、様々なレベルの閉塞により、現実世界の環境において著しく低下する。
これを解決するために既存の手法では、事前訓練されたモデルを利用するか、追加の過渡的なフィールドパイプラインを統合することで、オクローダや過渡的な要素を推定する。
しかし、これらの方法は依然として2つの欠陥に悩まされている。
1)Vision Foundation Model(VFM)のセマンティック機能を使用することで,計算コストが増大する。
2) 過渡的フィールドは、ビューごとのガウス的要素を扱うために大きなメモリを必要とし、光度誤差のみに依存するオクルーダーの明確な境界を定義するのに苦労する。
このような問題に対処するために、変形可能なトランジェントフィールドとスーパーピクセル対応マスクを活用して、制約のない画像コレクション間で2次元シーンの過渡要素を効率よく表現し、VFMを使わずに静的なシーンを静的に分解する手法であるForestSplatsを提案する。
我々は、過渡的なフィールドを変形可能に設計し、ビュー毎の過渡的な要素をキャプチャした。
さらに,光度誤差とスーパーピクセルを考慮し,Occluderの境界を明確に定義するスーパーピクセル対応マスクを提案する。
また, オーククローダの境界内にガウスを発生させるのを避けるため, 不確実性を考慮したデンシフィケーションを提案する。
いくつかのベンチマークデータセットの広範な実験を通して、ForestSplatsはVFMなしで既存の手法より優れており、過渡的要素を表現する際のメモリ効率がかなり高いことを示す。
関連論文リスト
- FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [63.87313550399871]
画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。
自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。
PSTは、画像基礎モデルと潜在空間アライメントによるクロスモーダルな知識伝達を確立する。
FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。
論文 参考訳（メタデータ） (2025-03-25T15:04:53Z) - Uncertainty-Aware Diffusion Guided Refinement of 3D Scenes [34.19578921335553]
1枚の画像から3Dシーンを再構築することは、問題の本質が過小評価されているため、基本的に不適切な作業である。
本研究では,既存の画像から3D画像へのフィードフォワードネットワークにおいて,これらの制約に対処する。
入力画像の視界を超えた情報不足による性能低下を軽減するため、事前学習された潜伏映像拡散モデルを用いて、強い生成前を活用できる。
論文 参考訳（メタデータ） (2025-03-19T23:14:27Z) - LensDFF: Language-enhanced Sparse Feature Distillation for Efficient Few-Shot Dexterous Manipulation [7.5860067778283335]
数発のデモから巧妙な操作を学ぶことは、先進的なロボットシステムにとって重要な課題である。
本稿では,LensDFF(Language-ENhanced Sparse Distilled Feature Field)を提案する。
デモにグリッププリミティブを組み込んだ数発のデクスタラスな操作フレームワークを導入し,安定かつ高デクスタラスなグリップを生成する。
論文 参考訳（メタデータ） (2025-03-05T20:46:30Z) - T-3DGS: Removing Transient Objects for 3D Scene Reconstruction [83.05271859398779]
映像シーケンスにおける過渡的オブジェクトは、3Dシーン再構成の品質を著しく低下させる可能性がある。
我々は,ガウススプラッティングを用いた3次元再構成において,過渡的障害を頑健に除去する新しいフレームワークT-3DGSを提案する。
論文 参考訳（メタデータ） (2024-11-29T07:45:24Z) - Wild-GS: Real-Time Novel View Synthesis from Unconstrained Photo Collections [30.321151430263946]
本稿では、制約のない写真コレクションに最適化された3DGSの革新的な適応であるWild-GSについて述べる。
Wild-GSは、それぞれの3Dガウスの出現を、その固有の材料特性、大域照明と画像当たりのカメラ特性、反射率の点レベルの局所的ばらつきによって決定する。
この斬新な設計は、参照ビューの高周波詳細外観を3次元空間に効果的に転送し、トレーニングプロセスを大幅に高速化する。
論文 参考訳（メタデータ） (2024-06-14T19:06:07Z) - CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
スパース入力によるNeRFの性能向上のための新しい手法を提案する。
まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。
次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
論文 参考訳（メタデータ） (2024-03-25T15:56:17Z) - Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields [54.482261428543985]
ニューラル・ラジアンス・フィールドを使用する手法は、新しいビュー合成のような従来のタスクに汎用的である。
3次元ガウシアンスプラッティングは, 実時間ラディアンス場レンダリングにおける最先端の性能を示した。
この問題を効果的に回避するために,アーキテクチャとトレーニングの変更を提案する。
論文 参考訳（メタデータ） (2023-12-06T00:46:30Z) - StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳（メタデータ） (2023-12-02T02:27:58Z) - Mutual Information-driven Triple Interaction Network for Efficient Image
Dehazing [54.168567276280505]
画像デハージングのための相互情報駆動型トリプルインタラクションネットワーク(MITNet)を提案する。
振幅誘導ヘイズ除去と呼ばれる第1段階は、ヘイズ除去のためのヘイズ画像の振幅スペクトルを復元することを目的としている。
第2段階は位相誘導構造が洗練され、位相スペクトルの変換と微細化を学ぶことに尽力した。
論文 参考訳（メタデータ） (2023-08-14T08:23:58Z) - Frequency-Aware Self-Supervised Monocular Depth Estimation [41.97188738587212]
自己教師付き単眼深度推定モデルを改善するための2つの多目的手法を提案する。
本手法の高一般化性は,測光損失関数の基本的およびユビキタスな問題を解くことによって達成される。
我々は、解釈可能な解析で深度推定器を改善するために、初めてぼやけた画像を提案する。
論文 参考訳（メタデータ） (2022-10-11T14:30:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。