論文の概要: Gaussian Splatting in Mirrors: Reflection-Aware Rendering via Virtual Camera Optimization
- arxiv url: http://arxiv.org/abs/2410.01614v1
- Date: Wed, 2 Oct 2024 14:53:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 16:34:50.746671
- Title: Gaussian Splatting in Mirrors: Reflection-Aware Rendering via Virtual Camera Optimization
- Title（参考訳）: 鏡におけるガウス散乱:仮想カメラ最適化による反射認識レンダリング
- Authors: Zihan Wang, Shuzhe Wang, Matias Turkulainen, Junyuan Fang, Juho Kannala,
- Abstract要約: 3D-GSはしばしばリフレクションを仮想空間と誤解し、ミラー内の曖昧で一貫性のないマルチビューレンダリングをもたらす。
本稿では,リフレクションを物理ベース仮想カメラとしてモデル化することで,高品質なマルチビュー一貫したリフレクションレンダリングを実現する手法を提案する。
- 参考スコア（独自算出の注目度）: 14.324573496923792
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in 3D Gaussian Splatting (3D-GS) have revolutionized novel view synthesis, facilitating real-time, high-quality image rendering. However, in scenarios involving reflective surfaces, particularly mirrors, 3D-GS often misinterprets reflections as virtual spaces, resulting in blurred and inconsistent multi-view rendering within mirrors. Our paper presents a novel method aimed at obtaining high-quality multi-view consistent reflection rendering by modelling reflections as physically-based virtual cameras. We estimate mirror planes with depth and normal estimates from 3D-GS and define virtual cameras that are placed symmetrically about the mirror plane. These virtual cameras are then used to explain mirror reflections in the scene. To address imperfections in mirror plane estimates, we propose a straightforward yet effective virtual camera optimization method to enhance reflection quality. We collect a new mirror dataset including three real-world scenarios for more diverse evaluation. Experimental validation on both Mirror-Nerf and our real-world dataset demonstrate the efficacy of our approach. We achieve comparable or superior results while significantly reducing training time compared to previous state-of-the-art.
- Abstract（参考訳）: 近年の3Dガウススプラッティング(3D-GS)の進歩は、新しいビュー合成に革命をもたらし、リアルタイムで高品質な画像描画を容易にしている。
しかし、反射面、特に鏡を含むシナリオでは、3D-GSはしばしば反射を仮想空間と誤解し、ミラー内の曖昧で一貫性のないマルチビューレンダリングをもたらす。
本稿では,リフレクションを物理ベース仮想カメラとしてモデル化することで,高品質なマルチビュー一貫したリフレクションレンダリングを実現する手法を提案する。
我々は、3D-GSの奥行きと通常の推定値を持つ鏡面を推定し、鏡面に対して対称に配置された仮想カメラを定義する。
これらの仮想カメラは、シーン内の鏡の反射を説明するために使用される。
鏡面推定における不完全性に対処するため,反射品質を向上させるために,単純かつ効果的な仮想カメラ最適化法を提案する。
より多様な評価のための3つの現実シナリオを含む新しいミラーデータセットを収集する。
Mirror-Nerfと実世界のデータセットの両方で実験的に検証し、我々のアプローチの有効性を実証した。
従来の最先端技術と比較して、トレーニング時間を大幅に短縮しながら、同等あるいは優れた結果が得られる。
関連論文リスト
- Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections [26.02117310176884]
拡散型生成モデルを用いて、高現実的で可視なミラー反射を生成する問題に取り組む。
これを可能にするために、鏡の前にオブジェクトが置かれた多様な合成シーンの大規模なデータセットであるSynMirrorを作成します。
本研究では,高品質な幾何整合性およびフォトリアリスティックミラー反射を生成するミラーフュージョン法を提案する。
論文 参考訳（メタデータ） (2024-09-23T02:59:07Z) - NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。
偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。
我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
論文 参考訳（メタデータ） (2024-06-11T09:53:18Z) - MirrorGaussian: Reflecting 3D Gaussians for Reconstructing Mirror Reflections [58.003014868772254]
MirrorGaussian は 3D Gaussian Splatting に基づくリアルタイムレンダリングによるミラーシーン再構築手法である。
本稿では,現実の3Dガウスと鏡面の両面の微分を可能にする直感的なデュアルレンダリング戦略を提案する。
我々の手法は既存の手法よりも優れており、最先端の結果が得られている。
論文 参考訳（メタデータ） (2024-05-20T09:58:03Z) - Mirror-3DGS: Incorporating Mirror Reflections into 3D Gaussian Splatting [27.361324194709155]
Mirror-3DGSは、ミラー測地と反射の複雑さを習得するために設計された革新的なレンダリングフレームワークである。
鏡の属性を3DGSに組み込むことで、ミラー3DGSは鏡の後ろから観察するミラー化された視点を作り、シーンレンダリングのリアリズムを豊かにする。
論文 参考訳（メタデータ） (2024-04-01T15:16:33Z) - UniSDF: Unifying Neural Representations for High-Fidelity 3D
Reconstruction of Complex Scenes with Reflections [92.38975002642455]
大規模な複雑なシーンをリフレクションで再構成できる汎用3次元再構成手法UniSDFを提案する。
提案手法は,複雑な大規模シーンを細部と反射面で頑健に再構築することができる。
論文 参考訳（メタデータ） (2023-12-20T18:59:42Z) - Revisiting Single Image Reflection Removal In the Wild [83.42368937164473]
本研究は,実環境におけるシングルイメージリフレクション除去(SIRR)の問題に焦点をあてる。
我々は,様々な現実世界のリフレクションシナリオに高度に適用可能な,高度なリフレクション収集パイプラインを考案した。
野生での反射除去(RRW)と呼ばれる大規模で高品質な反射データセットを開発する。
論文 参考訳（メタデータ） (2023-11-29T02:31:10Z) - Mirror-Aware Neural Humans [21.0548144424571]
我々は,カメラの自動校正により,市販の2Dポーズから始まるコンシューマレベルの3Dモーションキャプチャシステムを開発した。
我々は,身体モデル学習のメリットを実証的に実証し,難解なミラーシーンにおける隠蔽を考慮に入れた。
論文 参考訳（メタデータ） (2023-09-09T10:43:45Z) - Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with
Whitted-Style Ray Tracing [33.852910220413655]
鏡の正確な形状と反射を学習できる新しいニューラルネットワーク・レンダリング・フレームワークであるMirror-NeRFを提案する。
Mirror-NeRFは、新しいオブジェクトやミラーをシーンに追加したり、鏡に新しいオブジェクトの反射を合成したり、様々なシーン操作アプリケーションをサポートする。
論文 参考訳（メタデータ） (2023-08-07T03:48:07Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳（メタデータ） (2020-08-09T22:04:36Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。