論文の概要: MirrorGaussian: Reflecting 3D Gaussians for Reconstructing Mirror Reflections
- arxiv url: http://arxiv.org/abs/2405.11921v1
- Date: Mon, 20 May 2024 09:58:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 13:34:30.809532
- Title: MirrorGaussian: Reflecting 3D Gaussians for Reconstructing Mirror Reflections
- Title(参考訳): MirrorGaussian:鏡の反射を再現するために3Dガウスを反射する
- Authors: Jiayue Liu, Xiao Tang, Freeman Cheng, Roy Yang, Zhihao Li, Jianzhuang Liu, Yi Huang, Jiaqi Lin, Shiyong Liu, Xiaofei Wu, Songcen Xu, Chun Yuan,
- Abstract要約: MirrorGaussian は 3D Gaussian Splatting に基づくリアルタイムレンダリングによるミラーシーン再構築手法である。
本稿では,現実の3Dガウスと鏡面の両面の微分を可能にする直感的なデュアルレンダリング戦略を提案する。
我々の手法は既存の手法よりも優れており、最先端の結果が得られている。
- 参考スコア(独自算出の注目度): 58.003014868772254
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting showcases notable advancements in photo-realistic and real-time novel view synthesis. However, it faces challenges in modeling mirror reflections, which exhibit substantial appearance variations from different viewpoints. To tackle this problem, we present MirrorGaussian, the first method for mirror scene reconstruction with real-time rendering based on 3D Gaussian Splatting. The key insight is grounded on the mirror symmetry between the real-world space and the virtual mirror space. We introduce an intuitive dual-rendering strategy that enables differentiable rasterization of both the real-world 3D Gaussians and the mirrored counterpart obtained by reflecting the former about the mirror plane. All 3D Gaussians are jointly optimized with the mirror plane in an end-to-end framework. MirrorGaussian achieves high-quality and real-time rendering in scenes with mirrors, empowering scene editing like adding new mirrors and objects. Comprehensive experiments on multiple datasets demonstrate that our approach significantly outperforms existing methods, achieving state-of-the-art results. Project page: https://mirror-gaussian.github.io/.
- Abstract(参考訳): 3D Gaussian Splattingは、写真リアリスティックおよびリアルタイムの新規ビュー合成において顕著な進歩を見せている。
しかし、ミラー反射をモデル化する際の課題に直面しており、異なる視点からかなりの外見の変化が見られる。
この問題に対処するために,3次元ガウススティングに基づくリアルタイムレンダリングによるミラーシーン再構成手法であるMirrorGaussianを提案する。
重要な洞察は、現実世界空間と仮想ミラー空間の間のミラー対称性に基づいている。
実世界の3Dガウスと鏡面を反映した鏡面を区別可能なラスタ化を実現するための直感的な二重レンダリング手法を提案する。
すべての3Dガウスアンは、エンドツーエンドのフレームワークでミラープレーンと共同で最適化されている。
MirrorGaussianは、ミラー付きシーンで高品質でリアルタイムなレンダリングを実現し、新しいミラーやオブジェクトの追加のようなシーン編集の強化を実現している。
複数のデータセットに対する総合的な実験により、我々のアプローチは既存の手法を著しく上回り、最先端の結果が得られることを示した。
プロジェクトページ:https://mirror-gaussian.github.io/.com
関連論文リスト
- Mirror-3DGS: Incorporating Mirror Reflections into 3D Gaussian Splatting [27.361324194709155]
Mirror-3DGSは、ミラー測地と反射の複雑さを習得するために設計された革新的なレンダリングフレームワークである。
鏡の属性を3DGSに組み込むことで、ミラー3DGSは鏡の後ろから観察するミラー化された視点を作り、シーンレンダリングのリアリズムを豊かにする。
論文 参考訳(メタデータ) (2024-04-01T15:16:33Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳(メタデータ) (2024-03-26T17:21:24Z) - FDGaussian: Fast Gaussian Splatting from Single Image via Geometric-aware Diffusion Model [81.03553265684184]
FDGaussianは、シングルイメージ3D再構成のための新しい2段階フレームワークである。
最近の手法では、通常、事前訓練された2次元拡散モデルを用いて、入力画像から可塑性な新しいビューを生成する。
我々は,FDGaussianが様々な視点で高一貫性の画像を生成し,高品質な3Dオブジェクトを再構成することを示した。
論文 参考訳(メタデータ) (2024-03-15T12:24:36Z) - GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [76.52007427483396]
GIRは3次元ガウス逆レンダリング法である。
本手法は,多視点画像から物体の材料特性,照明,形状を推定するために3次元ガウス法を用いる。
論文 参考訳(メタデータ) (2023-12-08T16:05:15Z) - GaussianShader: 3D Gaussian Splatting with Shading Functions for
Reflective Surfaces [45.15827491185572]
反射面を持つシーンにおけるニューラルレンダリングを強化するために, 簡易シェーディング機能を3次元ガウスに応用する新しい手法を提案する。
実験の結果、ガウシアンシェーダーは効率と視覚的品質のバランスを保っていることがわかった。
論文 参考訳(メタデータ) (2023-11-29T17:22:26Z) - Mirror-Aware Neural Humans [21.0548144424571]
我々は,カメラの自動校正により,市販の2Dポーズから始まるコンシューマレベルの3Dモーションキャプチャシステムを開発した。
我々は,身体モデル学習のメリットを実証的に実証し,難解なミラーシーンにおける隠蔽を考慮に入れた。
論文 参考訳(メタデータ) (2023-09-09T10:43:45Z) - Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with
Whitted-Style Ray Tracing [33.852910220413655]
鏡の正確な形状と反射を学習できる新しいニューラルネットワーク・レンダリング・フレームワークであるMirror-NeRFを提案する。
Mirror-NeRFは、新しいオブジェクトやミラーをシーンに追加したり、鏡に新しいオブジェクトの反射を合成したり、様々なシーン操作アプリケーションをサポートする。
論文 参考訳(メタデータ) (2023-08-07T03:48:07Z) - Symmetry-Aware Transformer-based Mirror Detection [85.47570468668955]
デュアルパス・シンメトリ・アウェア・トランスフォーマーを用いたミラー検出ネットワーク(SATNet)を提案する。
SATNetにはSymmetry-Aware Attention Module (SAAM)とContrastとFusion Decoder Module (CFDM)の2つの新しいモジュールが含まれている。
実験の結果,SATNet は RGB と RGB-D の両方のミラー検出法に優れることがわかった。
論文 参考訳(メタデータ) (2022-07-13T16:40:01Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-05-06T04:16:06Z) - Structure of Multiple Mirror System from Kaleidoscopic Projections of
Single 3D Point [14.345346642066511]
本稿では,複数の平面ミラーとカメラから構成されるカレイドスコピックイメージングシステムの構造を発見するための新しいアルゴリズムを提案する。
本論文の重要な貢献は、未知のジオメトリの1つの3次元点を用いて、これらの問題に対する新しいアルゴリズムを提案することである。
論文 参考訳(メタデータ) (2021-03-29T11:12:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。