論文の概要: Mirror-3DGS: Incorporating Mirror Reflections into 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2404.01168v1
- Date: Mon, 1 Apr 2024 15:16:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 22:05:48.900794
- Title: Mirror-3DGS: Incorporating Mirror Reflections into 3D Gaussian Splatting
- Title（参考訳）: Mirror-3DGS: 3次元ガウススプレイティングにミラー反射を組み込む
- Authors: Jiarui Meng, Haijie Li, Yanmin Wu, Qiankun Gao, Shuzhou Yang, Jian Zhang, Siwei Ma,
- Abstract要約: Mirror-3DGSは、ミラー測地と反射の複雑さを習得するために設計された革新的なレンダリングフレームワークである。
鏡の属性を3DGSに組み込むことで、ミラー3DGSは鏡の後ろから観察するミラー化された視点を作り、シーンレンダリングのリアリズムを豊かにする。
- 参考スコア（独自算出の注目度）: 27.361324194709155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting (3DGS) has marked a significant breakthrough in the realm of 3D scene reconstruction and novel view synthesis. However, 3DGS, much like its predecessor Neural Radiance Fields (NeRF), struggles to accurately model physical reflections, particularly in mirrors that are ubiquitous in real-world scenes. This oversight mistakenly perceives reflections as separate entities that physically exist, resulting in inaccurate reconstructions and inconsistent reflective properties across varied viewpoints. To address this pivotal challenge, we introduce Mirror-3DGS, an innovative rendering framework devised to master the intricacies of mirror geometries and reflections, paving the way for the generation of realistically depicted mirror reflections. By ingeniously incorporating mirror attributes into the 3DGS and leveraging the principle of plane mirror imaging, Mirror-3DGS crafts a mirrored viewpoint to observe from behind the mirror, enriching the realism of scene renderings. Extensive assessments, spanning both synthetic and real-world scenes, showcase our method's ability to render novel views with enhanced fidelity in real-time, surpassing the state-of-the-art Mirror-NeRF specifically within the challenging mirror regions. Our code will be made publicly available for reproducible research.
- Abstract（参考訳）: 3D Gaussian Splatting (3DGS)は、3Dシーンの再構築と新しいビュー合成の領域において画期的な進歩を遂げた。
しかし、3DGSは、前身のNeural Radiance Fields(NeRF)と同様に、物理反射を正確にモデル化するのに苦労している。
この見落としは、物理的に存在する別個の実体として反射を誤って知覚し、その結果、様々な視点で不正確な再構成と矛盾した反射特性をもたらす。
この重要な課題に対処するために、ミラー3DGS(ミラー3DGS)を紹介します。
鏡の属性を3DGSに巧みに取り入れ、平面ミラーイメージングの原理を活用することで、ミラー3DGSは鏡の後ろから観察する鏡の視点を作り、シーンレンダリングのリアリズムを豊かにする。
総合的な評価は、合成シーンと実世界のシーンの両方にまたがって、我々の方法では、新しいビューをリアルタイムに拡張された忠実さで描画する能力を示し、挑戦するミラー領域で特に最先端のミラー・ネRFを超越している。
私たちのコードは再現可能な研究のために公開されます。
関連論文リスト
- NeRFs are Mirror Detectors: Using Structural Similarity for Multi-View Mirror Scene Reconstruction with 3D Surface Primitives [7.116175288307167]
我々は、NeRFをミラー検出器とみなすことができることを示す方法であるNeRF-MDを提案する。
まず、標準的なNeRFをトレーニングすることで、シーン形状の初期推定を計算する。
次に、第2の訓練段階において、放射場とミラー幾何学を共同で最適化し、その品質を向上する。
論文 参考訳（メタデータ） (2025-01-07T18:59:53Z) - EnvGS: Modeling View-Dependent Appearance with Environment Gaussian [78.74634059559891]
EnvGSは、環境の反射を捉えるための明示的な3D表現として、ガウスプリミティブのセットを利用する新しいアプローチである。
これらの環境を効率的にレンダリングするために,高速レンダリングにGPUのRTコアを利用するレイトレーシングベースのリフレクションを開発した。
複数の実世界および合成データセットから得られた結果は,本手法がより詳細な反射を生成することを示す。
論文 参考訳（メタデータ） (2024-12-19T18:59:57Z) - Gaussian Splatting in Mirrors: Reflection-Aware Rendering via Virtual Camera Optimization [14.324573496923792]
3D-GSはしばしばリフレクションを仮想空間と誤解し、ミラー内の曖昧で一貫性のないマルチビューレンダリングをもたらす。
本稿では,リフレクションを物理ベース仮想カメラとしてモデル化することで,高品質なマルチビュー一貫したリフレクションレンダリングを実現する手法を提案する。
論文 参考訳（メタデータ） (2024-10-02T14:53:24Z) - NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。
偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。
我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
論文 参考訳（メタデータ） (2024-06-11T09:53:18Z) - MirrorGaussian: Reflecting 3D Gaussians for Reconstructing Mirror Reflections [58.003014868772254]
MirrorGaussian は 3D Gaussian Splatting に基づくリアルタイムレンダリングによるミラーシーン再構築手法である。
本稿では,現実の3Dガウスと鏡面の両面の微分を可能にする直感的なデュアルレンダリング戦略を提案する。
我々の手法は既存の手法よりも優れており、最先端の結果が得られている。
論文 参考訳（メタデータ） (2024-05-20T09:58:03Z) - UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections [87.191742674543]
大規模な複雑なシーンをリフレクションで再構成できる汎用3次元再構成手法UniSDFを提案する。
提案手法は,複雑な大規模シーンを細部と反射面で頑健に再構築し,全体的な性能を向上する。
論文 参考訳（メタデータ） (2023-12-20T18:59:42Z) - Revisiting Single Image Reflection Removal In the Wild [83.42368937164473]
本研究は,実環境におけるシングルイメージリフレクション除去(SIRR)の問題に焦点をあてる。
我々は,様々な現実世界のリフレクションシナリオに高度に適用可能な,高度なリフレクション収集パイプラインを考案した。
野生での反射除去(RRW)と呼ばれる大規模で高品質な反射データセットを開発する。
論文 参考訳（メタデータ） (2023-11-29T02:31:10Z) - Mirror-Aware Neural Humans [21.0548144424571]
我々は,カメラの自動校正により,市販の2Dポーズから始まるコンシューマレベルの3Dモーションキャプチャシステムを開発した。
我々は,身体モデル学習のメリットを実証的に実証し,難解なミラーシーンにおける隠蔽を考慮に入れた。
論文 参考訳（メタデータ） (2023-09-09T10:43:45Z) - Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with
Whitted-Style Ray Tracing [33.852910220413655]
鏡の正確な形状と反射を学習できる新しいニューラルネットワーク・レンダリング・フレームワークであるMirror-NeRFを提案する。
Mirror-NeRFは、新しいオブジェクトやミラーをシーンに追加したり、鏡に新しいオブジェクトの反射を合成したり、様々なシーン操作アプリケーションをサポートする。
論文 参考訳（メタデータ） (2023-08-07T03:48:07Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳（メタデータ） (2020-08-09T22:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。