論文の概要: Decoupling Appearance Variations with 3D Consistent Features in Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2501.10788v1
• Date: Sat, 18 Jan 2025 14:55:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:22:46.173809
• Title: Decoupling Appearance Variations with 3D Consistent Features in Gaussian Splatting
• Title（参考訳）: ガウススメッティングにおける3次元連続特徴による外観変化のデカップリング
• Authors: Jiaqi Lin, Zhihao Li, Binxiao Huang, Xiao Tang, Jianzhuang Liu, Shiyong Liu, Xiaofei Wu, Fenglong Song, Wenming Yang,
• Abstract要約: 本稿では,プラグアンドプレイ方式で外観変化を分離するDAVIGSを提案する。 ガウスレベルではなく画像レベルでレンダリング結果を変換することにより、最適化時間とメモリオーバーヘッドを最小限に抑えた外観変化をモデル化できる。 提案手法をいくつかの外観変化シーンで検証し,トレーニング時間とメモリ使用量を最小限に抑えて,最先端のレンダリング品質を実現することを実証した。
• 参考スコア（独自算出の注目度）: 50.98884579463359
• License:
• Abstract: Gaussian Splatting has emerged as a prominent 3D representation in novel view synthesis, but it still suffers from appearance variations, which are caused by various factors, such as modern camera ISPs, different time of day, weather conditions, and local light changes. These variations can lead to floaters and color distortions in the rendered images/videos. Recent appearance modeling approaches in Gaussian Splatting are either tightly coupled with the rendering process, hindering real-time rendering, or they only account for mild global variations, performing poorly in scenes with local light changes. In this paper, we propose DAVIGS, a method that decouples appearance variations in a plug-and-play and efficient manner. By transforming the rendering results at the image level instead of the Gaussian level, our approach can model appearance variations with minimal optimization time and memory overhead. Furthermore, our method gathers appearance-related information in 3D space to transform the rendered images, thus building 3D consistency across views implicitly. We validate our method on several appearance-variant scenes, and demonstrate that it achieves state-of-the-art rendering quality with minimal training time and memory usage, without compromising rendering speeds. Additionally, it provides performance improvements for different Gaussian Splatting baselines in a plug-and-play manner.
• Abstract（参考訳）: ガウシアン・スプラッティングは、新しいビュー合成において顕著な3D表現として現れてきたが、現代のカメラISP、日時の違い、気象条件、局所的な光の変化など、様々な要因による外観の変化に悩まされている。 これらのバリエーションは、レンダリングされた画像/ビデオのフローターや色歪みにつながる可能性がある。 ガウススティングにおける最近の外観モデリングアプローチは、レンダリングプロセスと密結合し、リアルタイムレンダリングを妨げるか、あるいは緩やかなグローバルな変動のみを考慮し、局所的な光の変化を伴うシーンでは不十分である。 本稿では,プラグアンドプレイと効率の両立を両立させるDAVIGSを提案する。 ガウスレベルではなく画像レベルでレンダリング結果を変換することにより、最適化時間とメモリオーバーヘッドを最小限に抑えた外観変化をモデル化できる。 さらに、3次元空間の外観関連情報を収集してレンダリング画像の変換を行い、3次元の立体的整合性を暗黙的に構築する。 提案手法をいくつかの外観変化シーンで検証し,レンダリング速度を損なうことなく,トレーニング時間とメモリ使用量を最小限に抑えて最先端のレンダリング品質を実現することを示す。 さらに、プラグイン・アンド・プレイ方式で異なるガウススプラッティングベースラインのパフォーマンス改善も提供する。

関連論文リスト

• WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
  制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。 写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。 提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2024-06-04T15:17:37Z)
• SWAG: Splatting in the Wild images with Appearance-conditioned Gaussians [2.2369578015657954]
  暗黙の神経表現法は、未構造化画像から3Dシーンを学習する際、顕著な進歩を見せている。 非教師的手法でシーンオブオーダの存在を対処するために、過渡的なガウシアンを訓練する新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2024-03-15T16:00:04Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction [29.83056271799794]
  暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。 本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。 微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
  論文  参考訳（メタデータ） (2023-09-22T16:04:02Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。