論文の概要: Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections
- arxiv url: http://arxiv.org/abs/2409.14677v1
- Date: Mon, 23 Sep 2024 02:59:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 21:34:58.191762
- Title: Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections
- Title（参考訳）: リフレクションリアリティ: 忠実なミラーリフレクションを生み出す拡散モデルの実現
- Authors: Ankit Dhiman, Manan Shah, Rishubh Parihar, Yash Bhalgat, Lokesh R Boregowda, R Venkatesh Babu,
- Abstract要約: 拡散型生成モデルを用いて、高現実的で可視なミラー反射を生成する問題に取り組む。
これを可能にするために、鏡の前にオブジェクトが置かれた多様な合成シーンの大規模なデータセットであるSynMirrorを作成します。
本研究では,高品質な幾何整合性およびフォトリアリスティックミラー反射を生成するミラーフュージョン法を提案する。
- 参考スコア（独自算出の注目度）: 26.02117310176884
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We tackle the problem of generating highly realistic and plausible mirror reflections using diffusion-based generative models. We formulate this problem as an image inpainting task, allowing for more user control over the placement of mirrors during the generation process. To enable this, we create SynMirror, a large-scale dataset of diverse synthetic scenes with objects placed in front of mirrors. SynMirror contains around 198K samples rendered from 66K unique 3D objects, along with their associated depth maps, normal maps and instance-wise segmentation masks, to capture relevant geometric properties of the scene. Using this dataset, we propose a novel depth-conditioned inpainting method called MirrorFusion, which generates high-quality geometrically consistent and photo-realistic mirror reflections given an input image and a mask depicting the mirror region. MirrorFusion outperforms state-of-the-art methods on SynMirror, as demonstrated by extensive quantitative and qualitative analysis. To the best of our knowledge, we are the first to successfully tackle the challenging problem of generating controlled and faithful mirror reflections of an object in a scene using diffusion based models. SynMirror and MirrorFusion open up new avenues for image editing and augmented reality applications for practitioners and researchers alike.
- Abstract（参考訳）: 拡散型生成モデルを用いて、高現実的で可視なミラー反射を生成する問題に取り組む。
我々は、この問題を画像インペイントタスクとして定式化し、生成プロセス中にミラーの配置をよりユーザ制御できるようにする。
これを可能にするために、鏡の前にオブジェクトが置かれた多様な合成シーンの大規模なデータセットであるSynMirrorを作成します。
SynMirrorには、66Kのユニークな3Dオブジェクトからレンダリングされた約198Kのサンプルと、関連する深度マップ、通常のマップ、インスタンスワイドのセグメンテーションマスクが含まれており、シーンの関連する幾何学的性質を捉えている。
このデータセットを用いて,ミラー領域を描写したマスクと入力画像が与えられた高品質な幾何的整合性およびフォトリアリスティックなミラー反射を生成するミラーフュージョンという,奥行き条件付き塗装法を提案する。
MirrorFusionはSynMirrorの最先端の手法よりも優れており、広範囲な量的および定性的な分析によって示されている。
我々の知る限りでは、拡散モデルを用いてオブジェクトの制御された忠実なミラー反射を生成するという課題に、私たちは最初に取り組みました。
SynMirrorとMirrorFusionは、画像編集と拡張現実アプリケーションのための新しい道を開いた。
関連論文リスト
- NeRFs are Mirror Detectors: Using Structural Similarity for Multi-View Mirror Scene Reconstruction with 3D Surface Primitives [7.116175288307167]
我々は、NeRFをミラー検出器とみなすことができることを示す方法であるNeRF-MDを提案する。
まず、標準的なNeRFをトレーニングすることで、シーン形状の初期推定を計算する。
次に、第2の訓練段階において、放射場とミラー幾何学を共同で最適化し、その品質を向上する。
論文 参考訳（メタデータ） (2025-01-07T18:59:53Z) - EnvGS: Modeling View-Dependent Appearance with Environment Gaussian [78.74634059559891]
EnvGSは、環境の反射を捉えるための明示的な3D表現として、ガウスプリミティブのセットを利用する新しいアプローチである。
これらの環境を効率的にレンダリングするために,高速レンダリングにGPUのRTコアを利用するレイトレーシングベースのリフレクションを開発した。
複数の実世界および合成データセットから得られた結果は,本手法がより詳細な反射を生成することを示す。
論文 参考訳（メタデータ） (2024-12-19T18:59:57Z) - Gaussian Splatting in Mirrors: Reflection-Aware Rendering via Virtual Camera Optimization [14.324573496923792]
3D-GSはしばしばリフレクションを仮想空間と誤解し、ミラー内の曖昧で一貫性のないマルチビューレンダリングをもたらす。
本稿では,リフレクションを物理ベース仮想カメラとしてモデル化することで,高品質なマルチビュー一貫したリフレクションレンダリングを実現する手法を提案する。
論文 参考訳（メタデータ） (2024-10-02T14:53:24Z) - Multi-times Monte Carlo Rendering for Inter-reflection Reconstruction [51.911195773164245]
逆レンダリング法は、非絡み合ったジオメトリー、材料、環境光で高忠実度3Dオブジェクトを再構成する際、顕著な性能を実現している。
環境照明を総合的に計算するマルチタイムモンテカルロサンプリングを導入したRef-MC2を提案する。
また,本手法のアンタングル化能力を示すために,リライティングや素材編集などのダウンストリームアプリケーションも紹介する。
論文 参考訳（メタデータ） (2024-07-08T09:27:34Z) - MirrorGaussian: Reflecting 3D Gaussians for Reconstructing Mirror Reflections [58.003014868772254]
MirrorGaussian は 3D Gaussian Splatting に基づくリアルタイムレンダリングによるミラーシーン再構築手法である。
本稿では,現実の3Dガウスと鏡面の両面の微分を可能にする直感的なデュアルレンダリング戦略を提案する。
我々の手法は既存の手法よりも優れており、最先端の結果が得られている。
論文 参考訳（メタデータ） (2024-05-20T09:58:03Z) - Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with
Whitted-Style Ray Tracing [33.852910220413655]
鏡の正確な形状と反射を学習できる新しいニューラルネットワーク・レンダリング・フレームワークであるMirror-NeRFを提案する。
Mirror-NeRFは、新しいオブジェクトやミラーをシーンに追加したり、鏡に新しいオブジェクトの反射を合成したり、様々なシーン操作アプリケーションをサポートする。
論文 参考訳（メタデータ） (2023-08-07T03:48:07Z) - NeRO: Neural Geometry and BRDF Reconstruction of Reflective Objects from
Multiview Images [44.1333444097976]
未知の環境で撮影された多視点画像から反射物体の形状とBRDFを再構成するニューラルネットワークNeROを提案する。
論文 参考訳（メタデータ） (2023-05-27T07:40:07Z) - Relightify: Relightable 3D Faces from a Single Image via Diffusion
Models [86.3927548091627]
単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。
既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
論文 参考訳（メタデータ） (2023-05-10T11:57:49Z) - IRISformer: Dense Vision Transformers for Single-Image Inverse Rendering
in Indoor Scenes [99.76677232870192]
我々は、高密度な視覚変換器であるIRISformerが、逆レンダリングに必要なシングルタスクとマルチタスクの推論の両方で優れていることを示す。
具体的には,屋内シーンの単一画像から深度,正規度,空間変化アルベド,粗さ,照明を同時に推定するトランスフォーマーアーキテクチャを提案する。
ベンチマークデータセットを用いた評価では、上記の各タスクについて最先端の結果が示され、オブジェクト挿入や物質編集などの応用を、制約のない1つの実画像で実現する。
論文 参考訳（メタデータ） (2022-06-16T19:50:55Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。