論文の概要: GScream: Learning 3D Geometry and Feature Consistent Gaussian Splatting for Object Removal
- arxiv url: http://arxiv.org/abs/2404.13679v1
- Date: Sun, 21 Apr 2024 14:42:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 17:52:06.001693
- Title: GScream: Learning 3D Geometry and Feature Consistent Gaussian Splatting for Object Removal
- Title(参考訳): GScream:物体除去のための3次元形状と特徴一致型ガウススプラッティングの学習
- Authors: Yuxin Wang, Qianyi Wu, Guofeng Zhang, Dan Xu,
- Abstract要約: 本稿では,3次元ガウス散乱を用いた放射場更新のために,物体除去の複雑な課題に取り組む。
このタスクの主な課題は、幾何学的一貫性の維持とテクスチャコヒーレンス維持である。
これらの障害を克服するために特別に設計された堅牢なフレームワークを導入します。
- 参考スコア(独自算出の注目度): 34.66661937065531
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper tackles the intricate challenge of object removal to update the radiance field using the 3D Gaussian Splatting. The main challenges of this task lie in the preservation of geometric consistency and the maintenance of texture coherence in the presence of the substantial discrete nature of Gaussian primitives. We introduce a robust framework specifically designed to overcome these obstacles. The key insight of our approach is the enhancement of information exchange among visible and invisible areas, facilitating content restoration in terms of both geometry and texture. Our methodology begins with optimizing the positioning of Gaussian primitives to improve geometric consistency across both removed and visible areas, guided by an online registration process informed by monocular depth estimation. Following this, we employ a novel feature propagation mechanism to bolster texture coherence, leveraging a cross-attention design that bridges sampling Gaussians from both uncertain and certain areas. This innovative approach significantly refines the texture coherence within the final radiance field. Extensive experiments validate that our method not only elevates the quality of novel view synthesis for scenes undergoing object removal but also showcases notable efficiency gains in training and rendering speeds.
- Abstract(参考訳): 本稿では,3次元ガウス散乱を用いた放射場更新のために,物体除去の複雑な課題に取り組む。
この課題の主な課題は、幾何学的整合性の保存と、ガウス原始体の実質的な離散的性質の存在下でのテクスチャコヒーレンス維持である。
これらの障害を克服するために特別に設計された堅牢なフレームワークを導入します。
われわれのアプローチの鍵となる洞察は、目に見える領域と見えない領域の間での情報交換の促進であり、幾何学とテクスチャの両方の観点からコンテンツ復元を促進することである。
本手法は,単眼深度推定によるオンライン登録プロセスによって導かれる,除去領域と可視領域の両方における幾何的整合性を改善するために,ガウス原始体の位置決めを最適化することから始まる。
これに続いて,テクスチャのコヒーレンスを高めるために,不確実領域と特定領域の両方からガウスをサンプリングするクロスアテンション設計を利用する,新しい特徴伝播機構を採用した。
この革新的なアプローチは最終放射場におけるテクスチャコヒーレンスを著しく改善する。
広汎な実験により,本手法はオブジェクト除去中のシーンにおける新規ビュー合成の質を高めるだけでなく,トレーニングやレンダリングの速度において顕著な効率向上を示す。
関連論文リスト
- Gaussian Opacity Fields: Efficient and Compact Surface Reconstruction in Unbounded Scenes [50.92217884840301]
Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質でコンパクトな表面再構成のための新しいアプローチである。
GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。
GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
論文 参考訳(メタデータ) (2024-04-16T17:57:19Z) - GeoGaussian: Geometry-aware Gaussian Splatting for Scene Rendering [83.19049705653072]
ガウススプレイティング最適化の過程で、その構造が意図的に保存されていない場合、シーンの幾何学は徐々に悪化する。
我々はこの問題を緩和するためにGeoGaussianと呼ばれる新しいアプローチを提案する。
提案するパイプラインは、新しいビュー合成と幾何再構成において最先端の性能を達成する。
論文 参考訳(メタデータ) (2024-03-17T20:06:41Z) - SphereDiffusion: Spherical Geometry-Aware Distortion Resilient Diffusion Model [63.685132323224124]
制御可能な球状パノラマ画像生成は、様々な領域でかなりの応用可能性を持っている。
本稿では,これらの課題に対処するために,SphereDiffusionの新しいフレームワークを提案する。
Structured3Dデータセットの実験では、SphereDiffusionは制御可能な球面画像生成の品質を大幅に改善し、平均して約35%のFIDを相対的に削減している。
論文 参考訳(メタデータ) (2024-03-15T06:26:46Z) - GaussianBody: Clothed Human Reconstruction via 3d Gaussian Splatting [14.937297984020821]
本稿では,3次元ガウシアンスプラッティングをベースとした,ガウシアンボディと呼ばれる新しい布地復元手法を提案する。
静的な3次元ガウススメッティングモデルを動的復元問題に適用することは、複雑な非剛性変形とリッチな布の細部のために非自明である。
本手法は,ダイナミックな衣料人体に高精細な画質で,最先端のフォトリアリスティックなノベルビューレンダリングを実現できることを示す。
論文 参考訳(メタデータ) (2024-01-18T04:48:13Z) - Geometry-Guided Ray Augmentation for Neural Surface Reconstruction with
Sparse Views [11.879175599630859]
スパース多視点画像から3次元シーンとオブジェクトを再構成する新しい手法を提案する。
提案手法はRay Augmentation(RayAug)と呼ばれ,事前トレーニングを必要とせず,DTUおよびBlenderデータセット上で優れた結果が得られる。
論文 参考訳(メタデータ) (2023-10-09T07:42:33Z) - Neural Point-based Volumetric Avatar: Surface-guided Neural Points for
Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。
具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。
設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
論文 参考訳(メタデータ) (2023-07-11T03:40:10Z) - Towards Scalable Multi-View Reconstruction of Geometry and Materials [27.660389147094715]
本稿では,3次元シーンのカメラポーズ,オブジェクト形状,空間変化の両方向反射分布関数(svBRDF)のジョイントリカバリ手法を提案する。
入力は高解像度のRGBD画像であり、アクティブ照明用の点灯付き携帯型ハンドヘルドキャプチャシステムによってキャプチャされる。
論文 参考訳(メタデータ) (2023-06-06T15:07:39Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳(メタデータ) (2023-03-03T17:14:44Z) - Multi-view 3D Reconstruction of a Texture-less Smooth Surface of Unknown
Generic Reflectance [86.05191217004415]
表面反射率の不明なテクスチャレス物体の多視点再構成は難しい課題である。
本稿では,コライトスキャナーをベースとした,この問題に対するシンプルで堅牢な解法を提案する。
論文 参考訳(メタデータ) (2021-05-25T01:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。