論文の概要: Mirror-3DGS: Incorporating Mirror Reflections into 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2404.01168v1
- Date: Mon, 1 Apr 2024 15:16:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 22:05:48.900794
- Title: Mirror-3DGS: Incorporating Mirror Reflections into 3D Gaussian Splatting
- Title(参考訳): Mirror-3DGS: 3次元ガウススプレイティングにミラー反射を組み込む
- Authors: Jiarui Meng, Haijie Li, Yanmin Wu, Qiankun Gao, Shuzhou Yang, Jian Zhang, Siwei Ma,
- Abstract要約: Mirror-3DGSは、ミラー測地と反射の複雑さを習得するために設計された革新的なレンダリングフレームワークである。
鏡の属性を3DGSに組み込むことで、ミラー3DGSは鏡の後ろから観察するミラー化された視点を作り、シーンレンダリングのリアリズムを豊かにする。
- 参考スコア(独自算出の注目度): 27.361324194709155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting (3DGS) has marked a significant breakthrough in the realm of 3D scene reconstruction and novel view synthesis. However, 3DGS, much like its predecessor Neural Radiance Fields (NeRF), struggles to accurately model physical reflections, particularly in mirrors that are ubiquitous in real-world scenes. This oversight mistakenly perceives reflections as separate entities that physically exist, resulting in inaccurate reconstructions and inconsistent reflective properties across varied viewpoints. To address this pivotal challenge, we introduce Mirror-3DGS, an innovative rendering framework devised to master the intricacies of mirror geometries and reflections, paving the way for the generation of realistically depicted mirror reflections. By ingeniously incorporating mirror attributes into the 3DGS and leveraging the principle of plane mirror imaging, Mirror-3DGS crafts a mirrored viewpoint to observe from behind the mirror, enriching the realism of scene renderings. Extensive assessments, spanning both synthetic and real-world scenes, showcase our method's ability to render novel views with enhanced fidelity in real-time, surpassing the state-of-the-art Mirror-NeRF specifically within the challenging mirror regions. Our code will be made publicly available for reproducible research.
- Abstract(参考訳): 3D Gaussian Splatting (3DGS)は、3Dシーンの再構築と新しいビュー合成の領域において画期的な進歩を遂げた。
しかし、3DGSは、前身のNeural Radiance Fields(NeRF)と同様に、物理反射を正確にモデル化するのに苦労している。
この見落としは、物理的に存在する別個の実体として反射を誤って知覚し、その結果、様々な視点で不正確な再構成と矛盾した反射特性をもたらす。
この重要な課題に対処するために、ミラー3DGS(ミラー3DGS)を紹介します。
鏡の属性を3DGSに巧みに取り入れ、平面ミラーイメージングの原理を活用することで、ミラー3DGSは鏡の後ろから観察する鏡の視点を作り、シーンレンダリングのリアリズムを豊かにする。
総合的な評価は、合成シーンと実世界のシーンの両方にまたがって、我々の方法では、新しいビューをリアルタイムに拡張された忠実さで描画する能力を示し、挑戦するミラー領域で特に最先端のミラー・ネRFを超越している。
私たちのコードは再現可能な研究のために公開されます。
関連論文リスト
- UniSDF: Unifying Neural Representations for High-Fidelity 3D
Reconstruction of Complex Scenes with Reflections [92.38975002642455]
大規模な複雑なシーンをリフレクションで再構成できる汎用3次元再構成手法UniSDFを提案する。
提案手法は,複雑な大規模シーンを細部と反射面で頑健に再構築することができる。
論文 参考訳(メタデータ) (2023-12-20T18:59:42Z) - Revisiting Single Image Reflection Removal In the Wild [83.42368937164473]
本研究は,実環境におけるシングルイメージリフレクション除去(SIRR)の問題に焦点をあてる。
我々は,様々な現実世界のリフレクションシナリオに高度に適用可能な,高度なリフレクション収集パイプラインを考案した。
野生での反射除去(RRW)と呼ばれる大規模で高品質な反射データセットを開発する。
論文 参考訳(メタデータ) (2023-11-29T02:31:10Z) - Mirror-Aware Neural Humans [22.310014498188384]
我々は,カメラの自動校正により,市販の2Dポーズから始まるコンシューマレベルの3Dモーションキャプチャシステムを開発した。
我々は,身体モデル学習のメリットを実証的に実証し,難解なミラーシーンにおける隠蔽を考慮に入れた。
論文 参考訳(メタデータ) (2023-09-09T10:43:45Z) - Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with
Whitted-Style Ray Tracing [33.852910220413655]
鏡の正確な形状と反射を学習できる新しいニューラルネットワーク・レンダリング・フレームワークであるMirror-NeRFを提案する。
Mirror-NeRFは、新しいオブジェクトやミラーをシーンに追加したり、鏡に新しいオブジェクトの反射を合成したり、様々なシーン操作アプリケーションをサポートする。
論文 参考訳(メタデータ) (2023-08-07T03:48:07Z) - Monocular 3D Object Reconstruction with GAN Inversion [122.96094885939146]
MeshInversionはテクスチャ化された3Dメッシュの再構築を改善するための新しいフレームワークである。
これは、3Dテクスチャメッシュ合成のために事前訓練された3D GANの生成前を利用する。
本フレームワークは,観察部と観察部の両方で一貫した形状とテクスチャを有する忠実な3次元再構成を実現する。
論文 参考訳(メタデータ) (2022-07-20T17:47:22Z) - De-rendering the World's Revolutionary Artefacts [65.60220069214591]
実際の単一画像コレクションから、環境照明や表面材料を回収する手法を提案します。
回転対称なアーティファクトに焦点をあて,血管などの反射を含む表面特性に挑戦する。
世界の革命的成果物をデレンダリングできるエンドツーエンドの学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-08T17:56:16Z) - Reconstructing 3D Human Pose by Watching Humans in the Mirror [41.894948553970245]
鏡を通して人や人のイメージを見ることができる単一の画像から、3D人間のポーズを再構築する新しいタスクを紹介します。
我々は,ミラー対称性の制約を利用して正確な3次元ポーズ再構成を行う最適化手法を開発した。
論文 参考訳(メタデータ) (2021-04-01T08:42:51Z) - Structure of Multiple Mirror System from Kaleidoscopic Projections of
Single 3D Point [14.345346642066511]
本稿では,複数の平面ミラーとカメラから構成されるカレイドスコピックイメージングシステムの構造を発見するための新しいアルゴリズムを提案する。
本論文の重要な貢献は、未知のジオメトリの1つの3次元点を用いて、これらの問題に対する新しいアルゴリズムを提案することである。
論文 参考訳(メタデータ) (2021-03-29T11:12:15Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳(メタデータ) (2020-08-09T22:04:36Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。