論文の概要: RoomPainter: View-Integrated Diffusion for Consistent Indoor Scene Texturing
- arxiv url: http://arxiv.org/abs/2412.16778v1
- Date: Sat, 21 Dec 2024 21:22:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 15:58:32.244791
- Title: RoomPainter: View-Integrated Diffusion for Consistent Indoor Scene Texturing
- Title（参考訳）: RoomPainter: 一貫性のある室内シーンテクスチャのためのビュー統合拡散
- Authors: Zhipeng Huang, Wangbo Yu, Xinhua Cheng, ChengShu Zhao, Yunyang Ge, Mingyi Guo, Li Yuan, Yonghong Tian,
- Abstract要約: RoomPainterは効率性と一貫性を統合し、高忠実な屋内シーンを実現する。
室内環境のテクスチャ合成において,RoomPainterが優れた性能を発揮することを示す実験を行った。
- 参考スコア（独自算出の注目度）: 27.509706114731117
- License:
- Abstract: Indoor scene texture synthesis has garnered significant interest due to its important potential applications in virtual reality, digital media, and creative arts. Existing diffusion model-based researches either rely on per-view inpainting techniques, which are plagued by severe cross-view inconsistencies and conspicuous seams, or they resort to optimization-based approaches that entail substantial computational overhead. In this work, we present RoomPainter, a framework that seamlessly integrates efficiency and consistency to achieve high-fidelity texturing of indoor scenes. The core of RoomPainter features a zero-shot technique that effectively adapts a 2D diffusion model for 3D-consistent texture synthesis, along with a two-stage generation strategy that ensures both global and local consistency. Specifically, we introduce Attention-Guided Multi-View Integrated Sampling (MVIS) combined with a neighbor-integrated attention mechanism for zero-shot texture map generation. Using the MVIS, we firstly generate texture map for the entire room to ensure global consistency, then adopt its variant, namely an attention-guided multi-view integrated repaint sampling (MVRS) to repaint individual instances within the room, thereby further enhancing local consistency. Experiments demonstrate that RoomPainter achieves superior performance for indoor scene texture synthesis in visual quality, global consistency, and generation efficiency.
- Abstract（参考訳）: 屋内シーンのテクスチャ合成は、仮想現実、デジタルメディア、クリエイティブアートにおいて重要な応用の可能性から、大きな関心を集めている。
既存の拡散モデルに基づく研究は、厳密なクロスビューの不整合や目立たしいシームに悩まされるビュー毎の塗装技術に依存するか、あるいはかなりの計算オーバーヘッドを伴う最適化ベースのアプローチに頼っている。
本研究では,室内シーンの高忠実なテクスチャ化を実現するために,効率性と一貫性をシームレスに統合するフレームワークであるRoomPainterを提案する。
RoomPainterのコアとなるのは、3D一貫性のあるテクスチャ合成のための2次元拡散モデルを効果的に適用するゼロショット技術と、グローバルとローカルの整合性を保証する2段階生成戦略である。
具体的には、アテンションガイドによるマルチビュー統合サンプリング(MVIS)と、ゼロショットテクスチャマップ生成のための隣り合わせの注意機構を導入する。
MVISを用いて、まず部屋全体のテクスチャマップを生成し、グローバルな整合性を確保し、次にその変種、すなわち注意誘導型マルチビュー統合リペイントサンプリング(MVRS)を採用し、部屋内の個々のインスタンスをリペイントし、さらに局所的な整合性を高める。
実験により,RoomPainterは視覚的品質,グローバルな一貫性,生成効率において,室内環境のテクスチャ合成に優れた性能を発揮することが示された。
関連論文リスト
- MVPaint: Synchronized Multi-View Diffusion for Painting Anything 3D [63.9188712646076]
テクスチャリングは3Dアセット生産であり、視覚的魅力と視覚的魅力を高める。
近年の進歩にもかかわらず、メソッドは、主に局所的な不連続のために、しばしばサブパー結果をもたらす。
本稿では,高解像度かつシームレスなマルチビュー一貫性を実現するMVPaintという新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-04T17:59:39Z) - GenesisTex2: Stable, Consistent and High-Quality Text-to-Texture Generation [35.04723374116026]
大規模テキスト・トゥ・イメージ(T2I)モデルは、テキスト・トゥ・イメージ(T2I)生成において驚くべき結果を示している。
これらのモデルを用いて3次元ジオメトリーのテクスチャを合成することは、2次元画像と3次元表面のテクスチャとの領域ギャップのために依然として困難である。
本稿では,事前学習した拡散モデルを活用する新しいテキスト・テクスチャ合成フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-27T02:32:42Z) - Focus on Neighbors and Know the Whole: Towards Consistent Dense Multiview Text-to-Image Generator for 3D Creation [64.07560335451723]
CoSERは、テキストから3Dへの一貫した高密度テキスト・ツー・イメージ・ジェネレータである。
隣人のビューコヒーレンスを巧みに学習することで効率と品質を両立させる。
物理原理によって明確に定義された運動経路に沿って情報を集約し、詳細を洗練させる。
論文 参考訳（メタデータ） (2024-08-23T15:16:01Z) - HoloDreamer: Holistic 3D Panoramic World Generation from Text Descriptions [31.342899807980654]
3Dシーン生成は、仮想現実、ゲーム、映画産業など、さまざまな領域で高い需要がある。
フル3Dシーンの全体的初期化として,最初に高精細パノラマを生成するフレームワークであるHoloDreamerを紹介する。
そして、3Dガウススティング(3D-GS)を活用して3Dシーンを迅速に再構築し、ビュー一貫性と完全に囲まれた3Dシーンの作成を容易にする。
論文 参考訳（メタデータ） (2024-07-21T14:52:51Z) - Mixed Diffusion for 3D Indoor Scene Synthesis [55.94569112629208]
提案するMiDiffusionは,可塑性3次元屋内シーンを合成するための混合離散連続拡散モデルである。
床条件の3次元シーン合成において,最先端の自己回帰モデルおよび拡散モデルより優れることを示す。
論文 参考訳（メタデータ） (2024-05-31T17:54:52Z) - SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion
Priors [49.03627933561738]
SceneTexは、奥行き拡散前処理を用いた室内シーンの高品質でスタイルに一貫性のあるテクスチャを生成する新しい方法である。
SceneTexは3D-FRONTシーンの様々な正確なテクスチャ合成を可能にする。
論文 参考訳（メタデータ） (2023-11-28T22:49:57Z) - ConTex-Human: Free-View Rendering of Human from a Single Image with
Texture-Consistent Synthesis [49.28239918969784]
テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。
また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
論文 参考訳（メタデータ） (2023-11-28T13:55:53Z) - TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion
Models [77.85129451435704]
大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。
具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
論文 参考訳（メタデータ） (2023-10-20T19:15:29Z) - Multi-view Inverse Rendering for Large-scale Real-world Indoor Scenes [5.9870673031762545]
本研究では,大規模屋内シーンを対象とした多視点逆レンダリング手法を提案する。
提案手法は, 最先端の定量的, 定性的に性能を向上する。
物質編集、編集可能な新規ビュー合成、リライトなど、物理的に理にかなった混合現実のアプリケーションを可能にする。
論文 参考訳（メタデータ） (2022-11-18T12:53:10Z) - RSINet: Inpainting Remotely Sensed Images Using Triple GAN Framework [13.613245876782367]
本稿では,エッジ,色,テクスチャなどの画像の各側面に個別に焦点をあてる新しい塗装法を提案する。
個々のGANには、スペクトルと空間的特徴を明示的に抽出するアテンション機構も組み込まれている。
キャンバス上の2つのよく知られたリモートセンシングデータセット、Open Cities AIとEarthで、当社のモデルと過去の技術モデルの評価を行った。
論文 参考訳（メタデータ） (2022-02-12T05:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。