論文の概要: Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections

• arxiv url: http://arxiv.org/abs/2409.14677v1
• Date: Mon, 23 Sep 2024 02:59:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 21:34:58.191762
• Title: Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections
• Title（参考訳）: リフレクションリアリティ: 忠実なミラーリフレクションを生み出す拡散モデルの実現
• Authors: Ankit Dhiman, Manan Shah, Rishubh Parihar, Yash Bhalgat, Lokesh R Boregowda, R Venkatesh Babu,
• Abstract要約: 拡散型生成モデルを用いて、高現実的で可視なミラー反射を生成する問題に取り組む。 これを可能にするために、鏡の前にオブジェクトが置かれた多様な合成シーンの大規模なデータセットであるSynMirrorを作成します。 本研究では,高品質な幾何整合性およびフォトリアリスティックミラー反射を生成するミラーフュージョン法を提案する。
• 参考スコア（独自算出の注目度）: 26.02117310176884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We tackle the problem of generating highly realistic and plausible mirror reflections using diffusion-based generative models. We formulate this problem as an image inpainting task, allowing for more user control over the placement of mirrors during the generation process. To enable this, we create SynMirror, a large-scale dataset of diverse synthetic scenes with objects placed in front of mirrors. SynMirror contains around 198K samples rendered from 66K unique 3D objects, along with their associated depth maps, normal maps and instance-wise segmentation masks, to capture relevant geometric properties of the scene. Using this dataset, we propose a novel depth-conditioned inpainting method called MirrorFusion, which generates high-quality geometrically consistent and photo-realistic mirror reflections given an input image and a mask depicting the mirror region. MirrorFusion outperforms state-of-the-art methods on SynMirror, as demonstrated by extensive quantitative and qualitative analysis. To the best of our knowledge, we are the first to successfully tackle the challenging problem of generating controlled and faithful mirror reflections of an object in a scene using diffusion based models. SynMirror and MirrorFusion open up new avenues for image editing and augmented reality applications for practitioners and researchers alike.
• Abstract（参考訳）: 拡散型生成モデルを用いて、高現実的で可視なミラー反射を生成する問題に取り組む。 我々は、この問題を画像インペイントタスクとして定式化し、生成プロセス中にミラーの配置をよりユーザ制御できるようにする。 これを可能にするために、鏡の前にオブジェクトが置かれた多様な合成シーンの大規模なデータセットであるSynMirrorを作成します。 SynMirrorには、66Kのユニークな3Dオブジェクトからレンダリングされた約198Kのサンプルと、関連する深度マップ、通常のマップ、インスタンスワイドのセグメンテーションマスクが含まれており、シーンの関連する幾何学的性質を捉えている。 このデータセットを用いて,ミラー領域を描写したマスクと入力画像が与えられた高品質な幾何的整合性およびフォトリアリスティックなミラー反射を生成するミラーフュージョンという,奥行き条件付き塗装法を提案する。 MirrorFusionはSynMirrorの最先端の手法よりも優れており、広範囲な量的および定性的な分析によって示されている。 我々の知る限りでは、拡散モデルを用いてオブジェクトの制御された忠実なミラー反射を生成するという課題に、私たちは最初に取り組みました。 SynMirrorとMirrorFusionは、画像編集と拡張現実アプリケーションのための新しい道を開いた。

関連論文リスト

• Gaussian Splatting in Mirrors: Reflection-Aware Rendering via Virtual Camera Optimization [14.324573496923792]
  3D-GSはしばしばリフレクションを仮想空間と誤解し、ミラー内の曖昧で一貫性のないマルチビューレンダリングをもたらす。 本稿では,リフレクションを物理ベース仮想カメラとしてモデル化することで,高品質なマルチビュー一貫したリフレクションレンダリングを実現する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T14:53:24Z)
• Multi-times Monte Carlo Rendering for Inter-reflection Reconstruction [51.911195773164245]
  逆レンダリング法は、非絡み合ったジオメトリー、材料、環境光で高忠実度3Dオブジェクトを再構成する際、顕著な性能を実現している。 環境照明を総合的に計算するマルチタイムモンテカルロサンプリングを導入したRef-MC2を提案する。 また,本手法のアンタングル化能力を示すために,リライティングや素材編集などのダウンストリームアプリケーションも紹介する。
  論文  参考訳（メタデータ） (2024-07-08T09:27:34Z)
• NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
  NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。 偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。 我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
  論文  参考訳（メタデータ） (2024-06-11T09:53:18Z)
• MirrorGaussian: Reflecting 3D Gaussians for Reconstructing Mirror Reflections [58.003014868772254]
  MirrorGaussian は 3D Gaussian Splatting に基づくリアルタイムレンダリングによるミラーシーン再構築手法である。 本稿では,現実の3Dガウスと鏡面の両面の微分を可能にする直感的なデュアルレンダリング戦略を提案する。 我々の手法は既存の手法よりも優れており、最先端の結果が得られている。
  論文  参考訳（メタデータ） (2024-05-20T09:58:03Z)
• Mirror-3DGS: Incorporating Mirror Reflections into 3D Gaussian Splatting [27.361324194709155]
  Mirror-3DGSは、ミラー測地と反射の複雑さを習得するために設計された革新的なレンダリングフレームワークである。 鏡の属性を3DGSに組み込むことで、ミラー3DGSは鏡の後ろから観察するミラー化された視点を作り、シーンレンダリングのリアリズムを豊かにする。
  論文  参考訳（メタデータ） (2024-04-01T15:16:33Z)
• Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with Whitted-Style Ray Tracing [33.852910220413655]
  鏡の正確な形状と反射を学習できる新しいニューラルネットワーク・レンダリング・フレームワークであるMirror-NeRFを提案する。 Mirror-NeRFは、新しいオブジェクトやミラーをシーンに追加したり、鏡に新しいオブジェクトの反射を合成したり、様々なシーン操作アプリケーションをサポートする。
  論文  参考訳（メタデータ） (2023-08-07T03:48:07Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)
• Symmetry-Aware Transformer-based Mirror Detection [85.47570468668955]
  デュアルパス・シンメトリ・アウェア・トランスフォーマーを用いたミラー検出ネットワーク(SATNet)を提案する。 SATNetにはSymmetry-Aware Attention Module (SAAM)とContrastとFusion Decoder Module (CFDM)の2つの新しいモジュールが含まれている。 実験の結果,SATNet は RGB と RGB-D の両方のミラー検出法に優れることがわかった。
  論文  参考訳（メタデータ） (2022-07-13T16:40:01Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。