論文の概要: 360DVD: Controllable Panorama Video Generation with 360-Degree Video Diffusion Model
- arxiv url: http://arxiv.org/abs/2401.06578v2
- Date: Fri, 10 May 2024 12:11:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-13 20:17:21.488439
- Title: 360DVD: Controllable Panorama Video Generation with 360-Degree Video Diffusion Model
- Title（参考訳）: 360DVD:360度ビデオ拡散モデルによるパノラマ映像の制御
- Authors: Qian Wang, Weiqi Li, Chong Mou, Xinhua Cheng, Jian Zhang,
- Abstract要約: 本研究では,360度パノラマビデオを生成するために360DVDと呼ばれるパイプラインを提案する。
我々は,パノラマビデオ生成のためのトレーニング済みのT2Vモデルを変換するために,360 Enhancement Techniquesを併用した軽量な360-Adapterを提案する。
また,360DVDをトレーニングするためのパノラマビデオテキストペアからなる WEB360 という新しいパノラマデータセットを提案する。
- 参考スコア（独自算出の注目度）: 23.708946172342067
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Panorama video recently attracts more interest in both study and application, courtesy of its immersive experience. Due to the expensive cost of capturing 360-degree panoramic videos, generating desirable panorama videos by prompts is urgently required. Lately, the emerging text-to-video (T2V) diffusion methods demonstrate notable effectiveness in standard video generation. However, due to the significant gap in content and motion patterns between panoramic and standard videos, these methods encounter challenges in yielding satisfactory 360-degree panoramic videos. In this paper, we propose a pipeline named 360-Degree Video Diffusion model (360DVD) for generating 360-degree panoramic videos based on the given prompts and motion conditions. Specifically, we introduce a lightweight 360-Adapter accompanied by 360 Enhancement Techniques to transform pre-trained T2V models for panorama video generation. We further propose a new panorama dataset named WEB360 consisting of panoramic video-text pairs for training 360DVD, addressing the absence of captioned panoramic video datasets. Extensive experiments demonstrate the superiority and effectiveness of 360DVD for panorama video generation. Our project page is at https://akaneqwq.github.io/360DVD/.
- Abstract（参考訳）: パノラマ動画は最近、没入感のある体験のおかげで、研究と応用の両方により多くの関心を集めている。
360度パノラマ動画の撮影にはコストがかかるため、プロンプトによって望ましいパノラマ動画を生成する必要がある。
近年,テキスト・ツー・ビデオ(T2V)拡散法は標準映像生成において顕著な効果を示した。
しかし、パノラマビデオと標準ビデオの間にコンテンツと動きのパターンが著しくずれているため、これらの手法は360度パノラマ動画を満足のいくものにするための課題に直面している。
本稿では,与えられたプロンプトと動作条件に基づいて360度パノラマ映像を生成する360DVDというパイプラインを提案する。
具体的には、パノラマビデオ生成のための事前学習されたT2Vモデルを変換するために、360 Enhancement Techniquesを伴って、軽量な360-Adapterを導入する。
また,パノラマ画像データセットが存在しない場合に対処するため,パノラマビデオテキストペアによる360DVDのトレーニングを行うWEB360という新しいパノラマデータセットを提案する。
広汎な実験によりパノラマビデオ生成における360DVDの優位性と有効性を示した。
私たちのプロジェクトページはhttps://akaneqwq.github.io/360DVD/です。
関連論文リスト
- SVG: 3D Stereoscopic Video Generation via Denoising Frame Matrix [60.48666051245761]
本研究では,3次元立体映像生成のためのポーズフリーかつトレーニングフリーな手法を提案する。
提案手法は, 推定ビデオ深度を用いた立体視ベースライン上のカメラビューにモノクロ映像をワープする。
本研究では,映像の画質向上を図るために,非閉塞境界再注入方式を開発した。
論文 参考訳（メタデータ） (2024-06-29T08:33:55Z) - 4K4DGen: Panoramic 4D Generation at 4K Resolution [66.32782301285256]
本研究では,360度画像に一貫したアニメーション化を実現するために,汎用的な2次元拡散に適応するパノラマデノイザを提案する。
高品質なパノラマから4D生成を(4096$times$2048)初めて達成しました。
論文 参考訳（メタデータ） (2024-06-19T13:11:02Z) - DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
テキストから3D 360$circ$のシーン生成パイプラインを提示する。
提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。
当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
論文 参考訳（メタデータ） (2024-04-10T10:46:59Z) - See360: Novel Panoramic View Interpolation [24.965259708297932]
See360は、潜在空間視点推定を用いた360パノラマビューのための汎用的で効率的なフレームワークである。
提案手法は,4つのデータセットに対する任意のビューのリアルタイムレンダリングを実現するのに十分な汎用性を有することを示す。
論文 参考訳（メタデータ） (2024-01-07T09:17:32Z) - PanoVOS: Bridging Non-panoramic and Panoramic Views with Transformer for Video Segmentation [39.269864548255576]
パノラマビデオデータセットPanoVOSを提案する。
データセットは150本のビデオに高解像度と多様なモーションを提供する。
パノラマ空間整合変換器(PSCFormer)は,従来のフレームのセマンティック境界情報を,現在のフレームとの画素レベルのマッチングに有効に利用することができる。
論文 参考訳（メタデータ） (2023-09-21T17:59:02Z) - 360-Degree Panorama Generation from Few Unregistered NFoV Images [16.05306624008911]
360$circ$パノラマはコンピュータグラフィックスの環境光源として広く利用されている。
360ドル ドル タイムス 180ドル パノラマは 特殊で高価な装置のために 困難を招きます
パノディフと呼ばれる新しいパイプラインを提案し、パノラマを360ドル円で効率よく生成する。
論文 参考訳（メタデータ） (2023-08-28T16:21:51Z) - NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes [59.15910989235392]
屋外シーンのスパースビュー合成のためのNeO 360, Neural Fieldを紹介する。
NeO 360は、単一のまたは少数のRGB画像から360degのシーンを再構成する一般化可能な方法である。
我々の表現は、Voxel-basedとBird's-eye-view (BEV)の両方の表現の長所を組み合わせたものである。
論文 参考訳（メタデータ） (2023-08-24T17:59:50Z) - Panoramic Vision Transformer for Saliency Detection in 360{\deg} Videos [48.54829780502176]
パノラマ・ビジョン・トランス (PAVER) という新しいフレームワークを提案する。
我々は、変形可能な畳み込みを備えた視覚変換器を用いてエンコーダを設計し、通常のビデオからトレーニング済みのモデルを追加モジュールや微調整なしでアーキテクチャにプラグインできるようにする。
本稿では,VQA-ODVにおける全方位映像品質評価タスクを用いて,従属性予測モデルの有用性を実証する。
論文 参考訳（メタデータ） (2022-09-19T12:23:34Z) - Casual 6-DoF: free-viewpoint panorama using a handheld 360 camera [5.170808515570039]
従来の360デグカメラで捉えた360デグパノラマの非構造コレクションを用いて,広い範囲で6-DoF体験を提供する新しい手法を提案する。
提案手法は,360degデータキャプチャ,高品質な球面深度パノラマ生成のための新しい深度推定,高忠実度自由視点生成からなる。
論文 参考訳（メタデータ） (2022-03-31T02:25:46Z) - Revisiting Optical Flow Estimation in 360 Videos [9.997208301312956]
我々は、視点ビデオドメインから360度ビデオドメインへのドメイン適応フレームワークとしてLiteFlowNet360を設計する。
我々は、Kernel Transformer Network(KTN)にインスパイアされた単純なカーネル変換技術を用いて、360度ビデオの固有の歪みに対処する。
実験結果から,提案アーキテクチャを用いた360度ビデオ光流量推定の有望な結果が得られた。
論文 参考訳（メタデータ） (2020-10-15T22:22:21Z) - Perceptual Quality Assessment of Omnidirectional Images as Moving Camera
Videos [49.217528156417906]
ユーザの視聴行動やパノラマの知覚的品質を決定するには,2種類のVR視聴条件が不可欠である。
まず、異なる視聴条件下での異なるユーザの視聴行動を用いて、一方向の画像を複数のビデオ表現に変換する。
次に、高度な2次元フルレファレンスビデオ品質モデルを活用して、知覚された品質を計算する。
論文 参考訳（メタデータ） (2020-05-21T10:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。