論文の概要: 360DVD: Controllable Panorama Video Generation with 360-Degree Video Diffusion Model
- arxiv url: http://arxiv.org/abs/2401.06578v2
- Date: Fri, 10 May 2024 12:11:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-13 20:17:21.488439
- Title: 360DVD: Controllable Panorama Video Generation with 360-Degree Video Diffusion Model
- Title（参考訳）: 360DVD:360度ビデオ拡散モデルによるパノラマ映像の制御
- Authors: Qian Wang, Weiqi Li, Chong Mou, Xinhua Cheng, Jian Zhang,
- Abstract要約: 本研究では,360度パノラマビデオを生成するために360DVDと呼ばれるパイプラインを提案する。
我々は,パノラマビデオ生成のためのトレーニング済みのT2Vモデルを変換するために,360 Enhancement Techniquesを併用した軽量な360-Adapterを提案する。
また,360DVDをトレーニングするためのパノラマビデオテキストペアからなる WEB360 という新しいパノラマデータセットを提案する。
- 参考スコア（独自算出の注目度）: 23.708946172342067
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Panorama video recently attracts more interest in both study and application, courtesy of its immersive experience. Due to the expensive cost of capturing 360-degree panoramic videos, generating desirable panorama videos by prompts is urgently required. Lately, the emerging text-to-video (T2V) diffusion methods demonstrate notable effectiveness in standard video generation. However, due to the significant gap in content and motion patterns between panoramic and standard videos, these methods encounter challenges in yielding satisfactory 360-degree panoramic videos. In this paper, we propose a pipeline named 360-Degree Video Diffusion model (360DVD) for generating 360-degree panoramic videos based on the given prompts and motion conditions. Specifically, we introduce a lightweight 360-Adapter accompanied by 360 Enhancement Techniques to transform pre-trained T2V models for panorama video generation. We further propose a new panorama dataset named WEB360 consisting of panoramic video-text pairs for training 360DVD, addressing the absence of captioned panoramic video datasets. Extensive experiments demonstrate the superiority and effectiveness of 360DVD for panorama video generation. Our project page is at https://akaneqwq.github.io/360DVD/.
- Abstract（参考訳）: パノラマ動画は最近、没入感のある体験のおかげで、研究と応用の両方により多くの関心を集めている。
360度パノラマ動画の撮影にはコストがかかるため、プロンプトによって望ましいパノラマ動画を生成する必要がある。
近年,テキスト・ツー・ビデオ(T2V)拡散法は標準映像生成において顕著な効果を示した。
しかし、パノラマビデオと標準ビデオの間にコンテンツと動きのパターンが著しくずれているため、これらの手法は360度パノラマ動画を満足のいくものにするための課題に直面している。
本稿では,与えられたプロンプトと動作条件に基づいて360度パノラマ映像を生成する360DVDというパイプラインを提案する。
具体的には、パノラマビデオ生成のための事前学習されたT2Vモデルを変換するために、360 Enhancement Techniquesを伴って、軽量な360-Adapterを導入する。
また,パノラマ画像データセットが存在しない場合に対処するため,パノラマビデオテキストペアによる360DVDのトレーニングを行うWEB360という新しいパノラマデータセットを提案する。
広汎な実験によりパノラマビデオ生成における360DVDの優位性と有効性を示した。
私たちのプロジェクトページはhttps://akaneqwq.github.io/360DVD/です。
関連論文リスト
- DiffPano: Scalable and Consistent Text to Panorama Generation with Spherical Epipolar-Aware Diffusion [60.45000652592418]
本稿では,テキスト駆動型パノラマ生成フレームワークDiffPanoを提案し,拡張性,一貫性,多様なパノラマシーン生成を実現する。
DiffPanoは、不明瞭なテキスト記述とカメラのポーズによって、一貫した多様なパノラマ画像を生成することができることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:57:02Z) - VidPanos: Generative Panoramic Videos from Casual Panning Videos [73.77443496436749]
パノラマ画像ステッチは、カメラの視野を越えて広がるシーンの統一された広角ビューを提供する。
本稿では,カジュアルにキャプチャされたパンニングビデオからパノラマ動画を合成する方法を提案する。
我々のシステムは、人、車、流れる水など、さまざまな場所のシーンにビデオパノラマを作成できる。
論文 参考訳（メタデータ） (2024-10-17T17:53:24Z) - SceneDreamer360: Text-Driven 3D-Consistent Scene Generation with Panoramic Gaussian Splatting [53.32467009064287]
テキスト駆動型3D一貫性シーン生成モデルSceneDreamer360を提案する。
提案手法は,テキスト駆動パノラマ画像生成モデルを3次元シーン生成の先行モデルとして活用する。
SceneDreamer360はそのパノラマ画像生成と3DGSにより、より高品質で空間的に整合性があり、視覚的に魅力的な3Dシーンを任意のテキストプロンプトから生成できることを示した。
論文 参考訳（メタデータ） (2024-08-25T02:56:26Z) - SVG: 3D Stereoscopic Video Generation via Denoising Frame Matrix [60.48666051245761]
本研究では,3次元立体映像生成のためのポーズフリーかつトレーニングフリーな手法を提案する。
提案手法は, 推定ビデオ深度を用いた立体視ベースライン上のカメラビューにモノクロ映像をワープする。
本研究では,映像の画質向上を図るために,非閉塞境界再注入方式を開発した。
論文 参考訳（メタデータ） (2024-06-29T08:33:55Z) - 4K4DGen: Panoramic 4D Generation at 4K Resolution [67.98105958108503]
一つのパノラマを没入的な4D体験に高めるという課題に取り組む。
初めて、4K解像度で360$circ$のビューで全方位動的シーンを生成する能力を実証した。
高品質なパノラマ・ト・4Dを4Kの解像度で初めて実現した。
論文 参考訳（メタデータ） (2024-06-19T13:11:02Z) - See360: Novel Panoramic View Interpolation [24.965259708297932]
See360は、潜在空間視点推定を用いた360パノラマビューのための汎用的で効率的なフレームワークである。
提案手法は,4つのデータセットに対する任意のビューのリアルタイムレンダリングを実現するのに十分な汎用性を有することを示す。
論文 参考訳（メタデータ） (2024-01-07T09:17:32Z) - PanoVOS: Bridging Non-panoramic and Panoramic Views with Transformer for Video Segmentation [39.269864548255576]
パノラマビデオデータセットPanoVOSを提案する。
データセットは150本のビデオに高解像度と多様なモーションを提供する。
パノラマ空間整合変換器(PSCFormer)は,従来のフレームのセマンティック境界情報を,現在のフレームとの画素レベルのマッチングに有効に利用することができる。
論文 参考訳（メタデータ） (2023-09-21T17:59:02Z) - 360-Degree Panorama Generation from Few Unregistered NFoV Images [16.05306624008911]
360$circ$パノラマはコンピュータグラフィックスの環境光源として広く利用されている。
360ドル ドル タイムス 180ドル パノラマは 特殊で高価な装置のために 困難を招きます
パノディフと呼ばれる新しいパイプラインを提案し、パノラマを360ドル円で効率よく生成する。
論文 参考訳（メタデータ） (2023-08-28T16:21:51Z) - NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes [59.15910989235392]
屋外シーンのスパースビュー合成のためのNeO 360, Neural Fieldを紹介する。
NeO 360は、単一のまたは少数のRGB画像から360degのシーンを再構成する一般化可能な方法である。
我々の表現は、Voxel-basedとBird's-eye-view (BEV)の両方の表現の長所を組み合わせたものである。
論文 参考訳（メタデータ） (2023-08-24T17:59:50Z) - Revisiting Optical Flow Estimation in 360 Videos [9.997208301312956]
我々は、視点ビデオドメインから360度ビデオドメインへのドメイン適応フレームワークとしてLiteFlowNet360を設計する。
我々は、Kernel Transformer Network(KTN)にインスパイアされた単純なカーネル変換技術を用いて、360度ビデオの固有の歪みに対処する。
実験結果から,提案アーキテクチャを用いた360度ビデオ光流量推定の有望な結果が得られた。
論文 参考訳（メタデータ） (2020-10-15T22:22:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。