論文の概要: GScream: Learning 3D Geometry and Feature Consistent Gaussian Splatting for Object Removal

• arxiv url: http://arxiv.org/abs/2404.13679v1
• Date: Sun, 21 Apr 2024 14:42:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 17:52:06.001693
• Title: GScream: Learning 3D Geometry and Feature Consistent Gaussian Splatting for Object Removal
• Title（参考訳）: GScream:物体除去のための3次元形状と特徴一致型ガウススプラッティングの学習
• Authors: Yuxin Wang, Qianyi Wu, Guofeng Zhang, Dan Xu,
• Abstract要約: 本稿では,3次元ガウス散乱を用いた放射場更新のために,物体除去の複雑な課題に取り組む。 このタスクの主な課題は、幾何学的一貫性の維持とテクスチャコヒーレンス維持である。 これらの障害を克服するために特別に設計された堅牢なフレームワークを導入します。
• 参考スコア（独自算出の注目度）: 34.66661937065531
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper tackles the intricate challenge of object removal to update the radiance field using the 3D Gaussian Splatting. The main challenges of this task lie in the preservation of geometric consistency and the maintenance of texture coherence in the presence of the substantial discrete nature of Gaussian primitives. We introduce a robust framework specifically designed to overcome these obstacles. The key insight of our approach is the enhancement of information exchange among visible and invisible areas, facilitating content restoration in terms of both geometry and texture. Our methodology begins with optimizing the positioning of Gaussian primitives to improve geometric consistency across both removed and visible areas, guided by an online registration process informed by monocular depth estimation. Following this, we employ a novel feature propagation mechanism to bolster texture coherence, leveraging a cross-attention design that bridges sampling Gaussians from both uncertain and certain areas. This innovative approach significantly refines the texture coherence within the final radiance field. Extensive experiments validate that our method not only elevates the quality of novel view synthesis for scenes undergoing object removal but also showcases notable efficiency gains in training and rendering speeds.
• Abstract（参考訳）: 本稿では,3次元ガウス散乱を用いた放射場更新のために,物体除去の複雑な課題に取り組む。 この課題の主な課題は、幾何学的整合性の保存と、ガウス原始体の実質的な離散的性質の存在下でのテクスチャコヒーレンス維持である。 これらの障害を克服するために特別に設計された堅牢なフレームワークを導入します。 われわれのアプローチの鍵となる洞察は、目に見える領域と見えない領域の間での情報交換の促進であり、幾何学とテクスチャの両方の観点からコンテンツ復元を促進することである。 本手法は,単眼深度推定によるオンライン登録プロセスによって導かれる,除去領域と可視領域の両方における幾何的整合性を改善するために,ガウス原始体の位置決めを最適化することから始まる。 これに続いて,テクスチャのコヒーレンスを高めるために,不確実領域と特定領域の両方からガウスをサンプリングするクロスアテンション設計を利用する,新しい特徴伝播機構を採用した。 この革新的なアプローチは最終放射場におけるテクスチャコヒーレンスを著しく改善する。 広汎な実験により,本手法はオブジェクト除去中のシーンにおける新規ビュー合成の質を高めるだけでなく,トレーニングやレンダリングの速度において顕著な効率向上を示す。

関連論文リスト

• GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
  GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。 本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。 両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
  論文  参考訳（メタデータ） (2024-11-12T01:51:05Z)
• MCGS: Multiview Consistency Enhancement for Sparse-View 3D Gaussian Radiance Fields [73.49548565633123]
  3Dガウシアンによって表現される放射場は、高いトレーニング効率と高速レンダリングの両方を提供する、新しいビューの合成に優れている。 既存の手法では、高密度推定ネットワークからの奥行き先を組み込むことが多いが、入力画像に固有の多視点一貫性を見落としている。 本稿では,3次元ガウス・スプレイティング(MCGS)に基づくビュー・フレームワークを提案し,スパークス・インプット・ビューからシーンを再構築する。
  論文  参考訳（メタデータ） (2024-10-15T08:39:05Z)
• ND-SDF: Learning Normal Deflection Fields for High-Fidelity Indoor Reconstruction [50.07671826433922]
  微妙な幾何を同時に復元し、異なる特徴を持つ領域をまたいだ滑らかさを保つことは自明ではない。 そこで我々は,ND-SDFを提案する。ND-SDFは,通常のシーンとそれ以前のシーンの角偏差を表す正規偏向場を学習する。 本手法は, 壁面や床面などのスムーズなテクスチャ構造を得るだけでなく, 複雑な構造の幾何学的詳細も保存する。
  論文  参考訳（メタデータ） (2024-08-22T17:59:01Z)
• GeoGaussian: Geometry-aware Gaussian Splatting for Scene Rendering [83.19049705653072]
  ガウススプレイティング最適化の過程で、その構造が意図的に保存されていない場合、シーンの幾何学は徐々に悪化する。 我々はこの問題を緩和するためにGeoGaussianと呼ばれる新しいアプローチを提案する。 提案するパイプラインは、新しいビュー合成と幾何再構成において最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-03-17T20:06:41Z)
• SphereDiffusion: Spherical Geometry-Aware Distortion Resilient Diffusion Model [63.685132323224124]
  制御可能な球状パノラマ画像生成は、様々な領域でかなりの応用可能性を持っている。 本稿では,これらの課題に対処するために,SphereDiffusionの新しいフレームワークを提案する。 Structured3Dデータセットの実験では、SphereDiffusionは制御可能な球面画像生成の品質を大幅に改善し、平均して約35%のFIDを相対的に削減している。
  論文  参考訳（メタデータ） (2024-03-15T06:26:46Z)
• GaussianBody: Clothed Human Reconstruction via 3d Gaussian Splatting [14.937297984020821]
  本稿では,3次元ガウシアンスプラッティングをベースとした,ガウシアンボディと呼ばれる新しい布地復元手法を提案する。 静的な3次元ガウススメッティングモデルを動的復元問題に適用することは、複雑な非剛性変形とリッチな布の細部のために非自明である。 本手法は,ダイナミックな衣料人体に高精細な画質で,最先端のフォトリアリスティックなノベルビューレンダリングを実現できることを示す。
  論文  参考訳（メタデータ） (2024-01-18T04:48:13Z)
• Towards Scalable Multi-View Reconstruction of Geometry and Materials [27.660389147094715]
  本稿では,3次元シーンのカメラポーズ,オブジェクト形状,空間変化の両方向反射分布関数(svBRDF)のジョイントリカバリ手法を提案する。 入力は高解像度のRGBD画像であり、アクティブ照明用の点灯付き携帯型ハンドヘルドキャプチャシステムによってキャプチャされる。
  論文  参考訳（メタデータ） (2023-06-06T15:07:39Z)
• Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement [78.48648360358193]
  画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。 我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。 ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
  論文  参考訳（メタデータ） (2023-03-03T17:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。