論文の概要: Text2Light: Zero-Shot Text-Driven HDR Panorama Generation
- arxiv url: http://arxiv.org/abs/2209.09898v1
- Date: Tue, 20 Sep 2022 17:58:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 19:31:17.429388
- Title: Text2Light: Zero-Shot Text-Driven HDR Panorama Generation
- Title（参考訳）: Text2Light: ゼロショットテキスト駆動HDRパノラマ生成
- Authors: Zhaoxi Chen, Guangcong Wang, Ziwei Liu
- Abstract要約: 我々は,ペアのトレーニングデータなしで4K+解像度のHDRIを生成するために,ゼロショットのテキスト駆動フレームワークであるText2Lightを提案する。
ゼロショットテキスト駆動パノラマ生成を実現するために,我々はまず,多様な環境テクスチャの個別表現として2つのコードブックを構築した。
超高分解能逆トーンマッピングを実現するため,LDRパノラマから360度画像の連続表現を導出した。
- 参考スコア（独自算出の注目度）: 33.968466900204696
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: High-quality HDRIs(High Dynamic Range Images), typically HDR panoramas, are
one of the most popular ways to create photorealistic lighting and 360-degree
reflections of 3D scenes in graphics. Given the difficulty of capturing HDRIs,
a versatile and controllable generative model is highly desired, where layman
users can intuitively control the generation process. However, existing
state-of-the-art methods still struggle to synthesize high-quality panoramas
for complex scenes. In this work, we propose a zero-shot text-driven framework,
Text2Light, to generate 4K+ resolution HDRIs without paired training data.
Given a free-form text as the description of the scene, we synthesize the
corresponding HDRI with two dedicated steps: 1) text-driven panorama generation
in low dynamic range(LDR) and low resolution, and 2) super-resolution inverse
tone mapping to scale up the LDR panorama both in resolution and dynamic range.
Specifically, to achieve zero-shot text-driven panorama generation, we first
build dual codebooks as the discrete representation for diverse environmental
textures. Then, driven by the pre-trained CLIP model, a text-conditioned global
sampler learns to sample holistic semantics from the global codebook according
to the input text. Furthermore, a structure-aware local sampler learns to
synthesize LDR panoramas patch-by-patch, guided by holistic semantics. To
achieve super-resolution inverse tone mapping, we derive a continuous
representation of 360-degree imaging from the LDR panorama as a set of
structured latent codes anchored to the sphere. This continuous representation
enables a versatile module to upscale the resolution and dynamic range
simultaneously. Extensive experiments demonstrate the superior capability of
Text2Light in generating high-quality HDR panoramas. In addition, we show the
feasibility of our work in realistic rendering and immersive VR.
- Abstract（参考訳）: 高品質HDRI(High Dynamic Range Images)は、一般的にHDRパノラマであり、フォトリアリスティック照明と3Dシーンの360度リフレクションを作成する最も一般的な方法の1つである。
HDRIを捕捉することの難しさから、汎用的で制御可能な生成モデルが非常に望まれており、レイマンユーザは直感的に生成プロセスを制御できる。
しかし、既存の最先端の手法は、複雑なシーンで高品質のパノラマを合成するのに苦労している。
そこで本研究では、4K+解像度のHDRIを生成するためのゼロショットテキスト駆動フレームワークであるText2Lightを提案する。
シーン記述として自由形式のテキストが与えられた場合、対応するHDRIを2つの専用ステップで合成する。
1)低ダイナミックレンジ(ldr)および低解像度におけるテキスト駆動パノラマ生成と,
2) 超解像逆トーンマッピングはldrパノラマを解像度とダイナミックレンジの両方でスケールアップする。
具体的には、ゼロショットテキスト駆動パノラマ生成を実現するために、まず、多様な環境テクスチャの離散表現として二重コードブックを構築する。
そして、事前訓練されたCLIPモデルにより、テキスト条件付きグローバルサンプリングは、入力テキストに従って、グローバルコードブックから全体論的意味をサンプリングすることを学ぶ。
さらに、構造認識型局所サンプリング器は、総括的意味論により誘導されたldrパノラマパッチバイパッチを合成することを学ぶ。
超高分解能逆トーンマッピングを実現するため,LDRパノラマからの360度画像の連続的表現を球に固定した構造化潜在符号の集合として導出した。
この連続表現により、汎用モジュールは解像度とダイナミックレンジを同時にスケールアップすることができる。
大規模な実験は、高品質なHDRパノラマ生成におけるText2Lightの優れた能力を実証している。
さらに、現実的なレンダリングと没入型VRにおける私たちの仕事の可能性も示しています。
関連論文リスト
- DiffPano: Scalable and Consistent Text to Panorama Generation with Spherical Epipolar-Aware Diffusion [60.45000652592418]
本稿では,テキスト駆動型パノラマ生成フレームワークDiffPanoを提案し,拡張性,一貫性,多様なパノラマシーン生成を実現する。
DiffPanoは、不明瞭なテキスト記述とカメラのポーズによって、一貫した多様なパノラマ画像を生成することができることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:57:02Z) - LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation [105.52153675890408]
3D没入型シーン生成はコンピュータビジョンとグラフィックスにおいて難しいが重要な課題である。
LayerPano3Dは、単一のテキストプロンプトからフルビューで探索可能なパノラマ3Dシーンを生成するための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-08-23T17:50:23Z) - Pano2Room: Novel View Synthesis from a Single Indoor Panorama [20.262621556667852]
Pano2Roomは、1枚のパノラマ画像から高品質な3D屋内シーンを自動的に再構築するように設計されている。
鍵となるアイデアは、最初に入力パノラマから予備メッシュを構築し、パノラマRGBDインペイントを使用して反復的にこのメッシュを洗練することである。
精巧なメッシュは3次元ガウス散乱場に変換され、収集された擬似ノベルビューで訓練される。
論文 参考訳（メタデータ） (2024-08-21T08:19:12Z) - HoloDreamer: Holistic 3D Panoramic World Generation from Text Descriptions [31.342899807980654]
3Dシーン生成は、仮想現実、ゲーム、映画産業など、さまざまな領域で高い需要がある。
フル3Dシーンの全体的初期化として,最初に高精細パノラマを生成するフレームワークであるHoloDreamerを紹介する。
そして、3Dガウススティング(3D-GS)を活用して3Dシーンを迅速に再構築し、ビュー一貫性と完全に囲まれた3Dシーンの作成を容易にする。
論文 参考訳（メタデータ） (2024-07-21T14:52:51Z) - Fast High Dynamic Range Radiance Fields for Dynamic Scenes [39.3304365600248]
我々はHDR-HexPlaneという動的HDR NeRFフレームワークを提案し、様々な露出で捉えた動的2D画像から3Dシーンを学習する。
提案したモデルでは、任意の時点における高品質なノベルビュー画像を、望まれる露光でレンダリングすることができる。
論文 参考訳（メタデータ） (2024-01-11T17:15:16Z) - HORIZON: High-Resolution Semantically Controlled Panorama Synthesis [105.55531244750019]
パノラマ合成は、仮想世界の中心にユーザーを没入させ、360度の視覚的な風景を再現する。
視覚合成の最近の進歩は、2次元平面画像における意味制御の可能性を解き放ったが、これらの手法のパノラマ合成への直接的応用は歪んだ内容を生み出す。
我々は,高分解能パノラマを生成するための革新的な枠組みを公表し,洗練された球面モデリングによる球面歪みとエッジ不連続性の問題に着目した。
論文 参考訳（メタデータ） (2022-10-10T09:43:26Z) - StyleLight: HDR Panorama Generation for Lighting Estimation and Editing [98.20167223076756]
単一視野(LFOV)画像から高ダイナミックレンジ(GAN)屋内パノラマ光を生成するための新しい照明推定・編集フレームワークを提案する。
本フレームワークは室内照明推定における最先端手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-07-29T17:58:58Z) - Urban Radiance Fields [77.43604458481637]
本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。
提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。
これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
論文 参考訳（メタデータ） (2021-11-29T15:58:16Z) - Luminance Attentive Networks for HDR Image and Panorama Reconstruction [37.364335148790005]
低ダイナミックレンジ(LDR)画像から高逆範囲を不適切な問題として再構成することは困難である。
本稿では,1つのLDR画像からHDR再構成を行うために,LANetという減衰輝度ネットワークを提案する。
論文 参考訳（メタデータ） (2021-09-14T13:44:34Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳（メタデータ） (2020-08-09T22:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。