論文の概要: 360PanT: Training-Free Text-Driven 360-Degree Panorama-to-Panorama Translation
- arxiv url: http://arxiv.org/abs/2409.08397v1
- Date: Thu, 12 Sep 2024 20:56:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 18:27:26.895735
- Title: 360PanT: Training-Free Text-Driven 360-Degree Panorama-to-Panorama Translation
- Title（参考訳）: 360PanT: トレーニング不要のテキスト駆動型360度パノラマ-パノラマ-パノラマ翻訳
- Authors: Hai Wang, Jing-Hao Xue,
- Abstract要約: 本研究では,テキストベースの360度パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ/パノラマ-パノラマ/パノラマ-パノラマ-パノラマ-パノラマ-パノラマ/パノラマ-パノラマ
360PanTは境界連続性符号化と空間制御によるタイリングシームレス翻訳によってシームレス翻訳を実現する。
- 参考スコア（独自算出の注目度）: 31.569860162173672
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Preserving boundary continuity in the translation of 360-degree panoramas remains a significant challenge for existing text-driven image-to-image translation methods. These methods often produce visually jarring discontinuities at the translated panorama's boundaries, disrupting the immersive experience. To address this issue, we propose 360PanT, a training-free approach to text-based 360-degree panorama-to-panorama translation with boundary continuity. Our 360PanT achieves seamless translations through two key components: boundary continuity encoding and seamless tiling translation with spatial control. Firstly, the boundary continuity encoding embeds critical boundary continuity information of the input 360-degree panorama into the noisy latent representation by constructing an extended input image. Secondly, leveraging this embedded noisy latent representation and guided by a target prompt, the seamless tiling translation with spatial control enables the generation of a translated image with identical left and right halves while adhering to the extended input's structure and semantic layout. This process ensures a final translated 360-degree panorama with seamless boundary continuity. Experimental results on both real-world and synthesized datasets demonstrate the effectiveness of our 360PanT in translating 360-degree panoramas. Code is available at \href{https://github.com/littlewhitesea/360PanT}{https://github.com/littlewhitesea/360PanT}.
- Abstract（参考訳）: 360度パノラマの翻訳における境界連続性を維持することは、既存のテキスト駆動画像-画像変換法において重要な課題である。
これらの方法は、しばしば翻訳されたパノラマの境界で視覚的に不連続を生じさせ、没入感を損なう。
この問題に対処するために,テキストベースの360度パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ/パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノラマ-パノ
私たちの360PanTは、境界連続性符号化と空間制御によるシームレスなタイリング変換という、2つの重要なコンポーネントによるシームレスな翻訳を実現しています。
第一に、符号化された境界連続性は、入力された360度パノラマの臨界境界連続性情報を拡張された入力画像を構築することによりノイズの潜在表現に埋め込む。
第二に、この組込み雑音の潜在表現を利用し、ターゲットプロンプトでガイドされる、空間制御によるシームレスなタイリング変換により、拡張入力の構造とセマンティックレイアウトに固執しつつ、左右のハーフを持つ翻訳画像を生成することができる。
このプロセスは、シームレスな境界連続性を持つ360度パノラマの最終的な変換を保証する。
実世界のデータセットと合成データセットの両方の実験結果は、360度パノラマの翻訳における360PanTの有効性を示している。
コードは \href{https://github.com/littlewhitesea/360PanT}{https://github.com/littlewhitesea/360PanT} で公開されている。
関連論文リスト
- DiffPano: Scalable and Consistent Text to Panorama Generation with Spherical Epipolar-Aware Diffusion [60.45000652592418]
本稿では,テキスト駆動型パノラマ生成フレームワークDiffPanoを提案し,拡張性,一貫性,多様なパノラマシーン生成を実現する。
DiffPanoは、不明瞭なテキスト記述とカメラのポーズによって、一貫した多様なパノラマ画像を生成することができることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:57:02Z) - SceneDreamer360: Text-Driven 3D-Consistent Scene Generation with Panoramic Gaussian Splatting [53.32467009064287]
テキスト駆動型3D一貫性シーン生成モデルSceneDreamer360を提案する。
提案手法は,テキスト駆動パノラマ画像生成モデルを3次元シーン生成の先行モデルとして活用する。
SceneDreamer360はそのパノラマ画像生成と3DGSにより、より高品質で空間的に整合性があり、視覚的に魅力的な3Dシーンを任意のテキストプロンプトから生成できることを示した。
論文 参考訳（メタデータ） (2024-08-25T02:56:26Z) - LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation [105.52153675890408]
3D没入型シーン生成はコンピュータビジョンとグラフィックスにおいて難しいが重要な課題である。
LayerPano3Dは、単一のテキストプロンプトからフルビューで探索可能なパノラマ3Dシーンを生成するための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-08-23T17:50:23Z) - OPa-Ma: Text Guided Mamba for 360-degree Image Out-painting [9.870063736691556]
我々は,従来の狭視野画像(NFoV)から360度画像を生成するという,最近の話題に対処する。
この課題は、NFoV画像から合理的で一貫した環境を予測することを目的としている。
そこで本稿では,Mambaと呼ばれる状態空間モデルを備えた新しいテキスト誘導アウトペイントフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-15T17:23:00Z) - Taming Stable Diffusion for Text to 360° Panorama Image Generation [74.69314801406763]
そこで本研究では,テキストプロンプトから360度画像を生成するためにPanFusionという2分岐拡散モデルを提案する。
本研究では,協調的認知過程における歪みを最小限に抑えるために,投射認識を備えたユニークなクロスアテンション機構を提案する。
論文 参考訳（メタデータ） (2024-04-11T17:46:14Z) - DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
テキストから3D 360$circ$のシーン生成パイプラインを提示する。
提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。
当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
論文 参考訳（メタデータ） (2024-04-10T10:46:59Z) - Diffusion360: Seamless 360 Degree Panoramic Image Generation based on
Diffusion Models [22.178242496475153]
本報告は拡散モデルに基づく360度パノラマ画像生成タスクに関する技術的報告である。
textbfText-to-360-panoramas と textbfSingle-Image-to-360-panoramas の2つのモデルを提案する。
論文 参考訳（メタデータ） (2023-11-22T04:06:39Z) - Panoramic Image-to-Image Translation [37.9486466936501]
パノラマ画像変換(Pano-I2I)の課題に初めて取り組む。
この課題は、パノラマ画像の幾何学的歪みと、天候や時間といった様々な条件のパノラマ画像データセットが欠如しているために困難である。
ピンホール画像から参照するグローバルなスタイルを一貫して翻訳しながらパノラマ画像の構造を保存するパノラマ歪み認識型I2Iモデルを提案する。
論文 参考訳（メタデータ） (2023-04-11T04:08:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。