論文の概要: Reflection-aware Generative Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2609.05382v1
- Date: Fri, 04 Sep 2026 17:33:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.141275
- Title: Reflection-aware Generative Novel View Synthesis
- Title(参考訳): 反射認識による新しい視点合成
- Abstract要約: Ref-GeNVS(Ref-GeNVS)は、ミラーシーンにおける新規ビュー合成(NVS)のトレーニング不要なリフレクション対応手法である。
ミラーを含む合成および実シーンにおいて、Ref-GeNVSは最近の生成的NVS法より優れている。
- 参考スコア(独自算出の注目度): 29.38808167444839
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose Ref-GeNVS, a training-free, reflection-aware method for generative novel view synthesis (NVS) in mirror scenes. Existing multi-view diffusion models often fail to recognize the mirror in the scene and cannot exploit reflected content for scene generation. To fix this issue without additional training, our key idea is to treat a mirror image as two complementary views. From input images, we estimate the mirror plane and reflect camera poses to form virtual views. Based on this virtual view setup, we propose a two-stage generation method consisting of Mirror-gated attention and Reflection injection, which enables reflection-consistent NVS by explicitly leveraging reflection relationships in a multi-view diffusion model. Ref-GeNVS inherits the strong generalizability of the multi-view diffusion backbone, while it does not require finetuning. On synthetic and real scenes including mirrors, Ref-GeNVS outperforms recent generative NVS methods by generating reflection-consistent and contextually coherent novel views, revealing scene structure visible only through mirrors. Project page: https://kim-geonu.github.io/Ref-GeNVS/
- Abstract(参考訳): Ref-GeNVS(Ref-GeNVS)は、ミラーシーンにおける新規ビュー生成(NVS)のための訓練不要なリフレクション対応手法である。
既存のマルチビュー拡散モデルは、しばしばシーン内のミラーを認識することができず、シーン生成に反映されたコンテンツを利用することができない。
追加のトレーニングなしにこの問題を修正するためには、ミラーイメージを2つの補完的なビューとして扱うことが必要です。
入力画像から、鏡面を推定し、カメラのポーズを反映して仮想ビューを形成する。
この仮想ビュー設定に基づいて、多視点拡散モデルにおける反射関係を明示的に活用することにより、反射一貫性NVSを可能にするミラーゲートアテンションと反射注入からなる2段階生成法を提案する。
Ref-GeNVSはマルチビュー拡散バックボーンの強い一般化性を継承するが、微調整は不要である。
Ref-GeNVSは鏡を含む合成および現実のシーンにおいて、鏡を通してのみ見えるシーン構造を明らかにすることで、反射一貫性と文脈的に整合した新しいビューを生成することで、最近のNVS法よりも優れている。
プロジェクトページ: https://kim-geonu.github.io/Ref-GeNVS/
関連論文リスト
- MirrorWorld: Taming Video Diffusion Models for Mirror Reflection Generation [46.878264012748694]
本稿では,世代間のシーン・ミラー関係をモデル化したリフレクション対応映像インパインティングフレームワークを提案する。
MirrorWorldは、代表的な画像ベースリフレクション生成法よりも改善されたリフレクション再構成品質を実現する。
論文 参考訳(メタデータ) (2026-08-07T17:58:10Z) - Reflection Generation for Composite Image Using Diffusion Model [22.699034413532285]
シャドウ生成は広く研究されてきたが、反射生成は未発見のままである。
基礎拡散モデルに反射配置と反射外観の事前情報を注入する。
トレーニングを支援するため、我々は最初の大規模オブジェクトリフレクションデータセットDEROBAを構築した。
論文 参考訳(メタデータ) (2026-04-02T15:35:28Z) - Seeing Through Reflections: Advancing 3D Scene Reconstruction in Mirror-Containing Environments with Gaussian Splatting [3.0501972844045273]
室内の多様なシーン、1256の高品質画像、注釈付きミラーマスクを備えたデータセットであるMirrorScene3Dを提示する。
ミラー反射を相補的視点として利用する3次元ガウス格子の拡張であるReflectiveGSを提案する。
MirrorScene3Dの実験では、ReflectiveGaussianはSSIM、PSNR、LPIPS、トレーニング速度において既存の手法よりも優れていた。
論文 参考訳(メタデータ) (2025-09-23T13:06:00Z) - NeRFs are Mirror Detectors: Using Structural Similarity for Multi-View Mirror Scene Reconstruction with 3D Surface Primitives [7.116175288307167]
我々は、NeRFをミラー検出器とみなすことができることを示す方法であるNeRF-MDを提案する。
まず、標準的なNeRFをトレーニングすることで、シーン形状の初期推定を計算する。
次に、第2の訓練段階において、放射場とミラー幾何学を共同で最適化し、その品質を向上する。
論文 参考訳(メタデータ) (2025-01-07T18:59:53Z) - MV-DUSt3R+: Single-Stage Scene Reconstruction from Sparse Views In 2 Seconds [56.77548728485841]
本稿では,高速な単一ステージフィードフォワードネットワークMV-DUSt3Rを提案する。
コアとなるのはマルチビューデコーダブロックで、単一の参照ビューを考慮しながら、任意のビュー間で情報を交換する。
さらに,参照ビュー選択に頑健な手法として,参照ビュー選択の異なる情報を融合するために,参照ビューブロックを用いたMV-DUSt3R+を提案する。
論文 参考訳(メタデータ) (2024-12-09T20:34:55Z) - Monocular Identity-Conditioned Facial Reflectance Reconstruction [71.90507628715388]
既存の方法は、顔の反射率モデルを学ぶために、大量の光ステージキャプチャーデータに依存している。
我々は、UV空間ではなく画像空間で反射率を学習し、ID2Reflectanceというフレームワークを提案する。
本フレームワークは,訓練に限られた反射率データを用いながら,単一の画像の反射率マップを直接推定することができる。
論文 参考訳(メタデータ) (2024-03-30T09:43:40Z) - Revisiting Single Image Reflection Removal In the Wild [83.42368937164473]
本研究は,実環境におけるシングルイメージリフレクション除去(SIRR)の問題に焦点をあてる。
我々は,様々な現実世界のリフレクションシナリオに高度に適用可能な,高度なリフレクション収集パイプラインを考案した。
野生での反射除去(RRW)と呼ばれる大規模で高品質な反射データセットを開発する。
論文 参考訳(メタデータ) (2023-11-29T02:31:10Z) - Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with
Whitted-Style Ray Tracing [33.852910220413655]
鏡の正確な形状と反射を学習できる新しいニューラルネットワーク・レンダリング・フレームワークであるMirror-NeRFを提案する。
Mirror-NeRFは、新しいオブジェクトやミラーをシーンに追加したり、鏡に新しいオブジェクトの反射を合成したり、様々なシーン操作アプリケーションをサポートする。
論文 参考訳(メタデータ) (2023-08-07T03:48:07Z) - Two-Stage Single Image Reflection Removal with Reflection-Aware Guidance [78.34235841168031]
シングルイメージリフレクション除去(SIRR)のためのリフレクション・アウェア・ガイダンス(RAGNet)を用いた新しい2段階ネットワークを提案する。
RAGは、(i)観測からの反射の効果を緩和するために、(ii)線形結合仮説から逸脱する効果を緩和するための部分畳み込みにおいてマスクを生成するために用いられる。
5つの一般的なデータセットの実験は、最先端のSIRR法と比較して、RAGNetの量的および質的な優位性を実証している。
論文 参考訳(メタデータ) (2020-12-02T03:14:57Z) - Polarized Reflection Removal with Perfect Alignment in the Wild [66.48211204364142]
野生の偏光画像からの反射を除去するための新しい定式化法を提案する。
まず、既存のリフレクション除去データセットの不整合問題を同定する。
我々は100種類以上のガラスを用いた新しいデータセットを構築し、得られた透過画像は入力された混合画像と完全に一致している。
論文 参考訳(メタデータ) (2020-03-28T13:29:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。