論文の概要: Mirror-3DGS: Incorporating Mirror Reflections into 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2404.01168v1
- Date: Mon, 1 Apr 2024 15:16:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 22:05:48.900794
- Title: Mirror-3DGS: Incorporating Mirror Reflections into 3D Gaussian Splatting
- Title（参考訳）: Mirror-3DGS: 3次元ガウススプレイティングにミラー反射を組み込む
- Authors: Jiarui Meng, Haijie Li, Yanmin Wu, Qiankun Gao, Shuzhou Yang, Jian Zhang, Siwei Ma,
- Abstract要約: Mirror-3DGSは、ミラー測地と反射の複雑さを習得するために設計された革新的なレンダリングフレームワークである。
鏡の属性を3DGSに組み込むことで、ミラー3DGSは鏡の後ろから観察するミラー化された視点を作り、シーンレンダリングのリアリズムを豊かにする。
- 参考スコア（独自算出の注目度）: 27.361324194709155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting (3DGS) has marked a significant breakthrough in the realm of 3D scene reconstruction and novel view synthesis. However, 3DGS, much like its predecessor Neural Radiance Fields (NeRF), struggles to accurately model physical reflections, particularly in mirrors that are ubiquitous in real-world scenes. This oversight mistakenly perceives reflections as separate entities that physically exist, resulting in inaccurate reconstructions and inconsistent reflective properties across varied viewpoints. To address this pivotal challenge, we introduce Mirror-3DGS, an innovative rendering framework devised to master the intricacies of mirror geometries and reflections, paving the way for the generation of realistically depicted mirror reflections. By ingeniously incorporating mirror attributes into the 3DGS and leveraging the principle of plane mirror imaging, Mirror-3DGS crafts a mirrored viewpoint to observe from behind the mirror, enriching the realism of scene renderings. Extensive assessments, spanning both synthetic and real-world scenes, showcase our method's ability to render novel views with enhanced fidelity in real-time, surpassing the state-of-the-art Mirror-NeRF specifically within the challenging mirror regions. Our code will be made publicly available for reproducible research.
- Abstract（参考訳）: 3D Gaussian Splatting (3DGS)は、3Dシーンの再構築と新しいビュー合成の領域において画期的な進歩を遂げた。
しかし、3DGSは、前身のNeural Radiance Fields(NeRF)と同様に、物理反射を正確にモデル化するのに苦労している。
この見落としは、物理的に存在する別個の実体として反射を誤って知覚し、その結果、様々な視点で不正確な再構成と矛盾した反射特性をもたらす。
この重要な課題に対処するために、ミラー3DGS(ミラー3DGS)を紹介します。
鏡の属性を3DGSに巧みに取り入れ、平面ミラーイメージングの原理を活用することで、ミラー3DGSは鏡の後ろから観察する鏡の視点を作り、シーンレンダリングのリアリズムを豊かにする。
総合的な評価は、合成シーンと実世界のシーンの両方にまたがって、我々の方法では、新しいビューをリアルタイムに拡張された忠実さで描画する能力を示し、挑戦するミラー領域で特に最先端のミラー・ネRFを超越している。
私たちのコードは再現可能な研究のために公開されます。
関連論文リスト
- Gaussian Splatting in Mirrors: Reflection-Aware Rendering via Virtual Camera Optimization [14.324573496923792]
3D-GSはしばしばリフレクションを仮想空間と誤解し、ミラー内の曖昧で一貫性のないマルチビューレンダリングをもたらす。
本稿では,リフレクションを物理ベース仮想カメラとしてモデル化することで,高品質なマルチビュー一貫したリフレクションレンダリングを実現する手法を提案する。
論文 参考訳（メタデータ） (2024-10-02T14:53:24Z) - NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。
偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。
我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
論文 参考訳（メタデータ） (2024-06-11T09:53:18Z) - RefGaussian: Disentangling Reflections from 3D Gaussian Splatting for Realistic Rendering [18.427759763663047]
本稿では3D-GSからの反射を現実的にモデル化するRefGaussianを提案する。
伝送成分と反射成分の両方に対して局所的な滑らかさを確保するために局所正規化手法を用いる。
提案手法は,より優れた新規な視点合成と高精度な深度推定結果を実現する。
論文 参考訳（メタデータ） (2024-06-09T16:49:39Z) - MirrorGaussian: Reflecting 3D Gaussians for Reconstructing Mirror Reflections [58.003014868772254]
MirrorGaussian は 3D Gaussian Splatting に基づくリアルタイムレンダリングによるミラーシーン再構築手法である。
本稿では,現実の3Dガウスと鏡面の両面の微分を可能にする直感的なデュアルレンダリング戦略を提案する。
我々の手法は既存の手法よりも優れており、最先端の結果が得られている。
論文 参考訳（メタデータ） (2024-05-20T09:58:03Z) - UniSDF: Unifying Neural Representations for High-Fidelity 3D
Reconstruction of Complex Scenes with Reflections [92.38975002642455]
大規模な複雑なシーンをリフレクションで再構成できる汎用3次元再構成手法UniSDFを提案する。
提案手法は,複雑な大規模シーンを細部と反射面で頑健に再構築することができる。
論文 参考訳（メタデータ） (2023-12-20T18:59:42Z) - Revisiting Single Image Reflection Removal In the Wild [83.42368937164473]
本研究は,実環境におけるシングルイメージリフレクション除去(SIRR)の問題に焦点をあてる。
我々は,様々な現実世界のリフレクションシナリオに高度に適用可能な,高度なリフレクション収集パイプラインを考案した。
野生での反射除去(RRW)と呼ばれる大規模で高品質な反射データセットを開発する。
論文 参考訳（メタデータ） (2023-11-29T02:31:10Z) - Mirror-Aware Neural Humans [21.0548144424571]
我々は,カメラの自動校正により,市販の2Dポーズから始まるコンシューマレベルの3Dモーションキャプチャシステムを開発した。
我々は,身体モデル学習のメリットを実証的に実証し,難解なミラーシーンにおける隠蔽を考慮に入れた。
論文 参考訳（メタデータ） (2023-09-09T10:43:45Z) - Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with
Whitted-Style Ray Tracing [33.852910220413655]
鏡の正確な形状と反射を学習できる新しいニューラルネットワーク・レンダリング・フレームワークであるMirror-NeRFを提案する。
Mirror-NeRFは、新しいオブジェクトやミラーをシーンに追加したり、鏡に新しいオブジェクトの反射を合成したり、様々なシーン操作アプリケーションをサポートする。
論文 参考訳（メタデータ） (2023-08-07T03:48:07Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳（メタデータ） (2020-08-09T22:04:36Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。