論文の概要: 360DVD: Controllable Panorama Video Generation with 360-Degree Video
Diffusion Model
- arxiv url: http://arxiv.org/abs/2401.06578v1
- Date: Fri, 12 Jan 2024 13:52:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 19:21:28.699958
- Title: 360DVD: Controllable Panorama Video Generation with 360-Degree Video
Diffusion Model
- Title(参考訳): 360DVD:360度ビデオ拡散モデルによるパノラマ映像生成
- Authors: Qian Wang, Weiqi Li, Chong Mou, Xinhua Cheng, Jian Zhang
- Abstract要約: 与えられたプロンプトと動作条件に基づいてパノラマ映像を生成するために360DVD(360-Degree Video Diffusion model)という制御可能なパノラマ映像生成パイプラインを提案する。
また,360度ビデオテキストペアで360DVDのトレーニングを行うWEB360というパノラマデータセットを提案する。
- 参考スコア(独自算出の注目度): 25.43604697729229
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 360-degree panoramic videos recently attract more interest in both studies
and applications, courtesy of the heightened immersive experiences they
engender. Due to the expensive cost of capturing 360-degree panoramic videos,
generating desirable panoramic videos by given prompts is urgently required.
Recently, the emerging text-to-video (T2V) diffusion methods demonstrate
notable effectiveness in standard video generation. However, due to the
significant gap in content and motion patterns between panoramic and standard
videos, these methods encounter challenges in yielding satisfactory 360-degree
panoramic videos. In this paper, we propose a controllable panorama video
generation pipeline named 360-Degree Video Diffusion model (360DVD) for
generating panoramic videos based on the given prompts and motion conditions.
Concretely, we introduce a lightweight module dubbed 360-Adapter and assisted
360 Enhancement Techniques to transform pre-trained T2V models for 360-degree
video generation. We further propose a new panorama dataset named WEB360
consisting of 360-degree video-text pairs for training 360DVD, addressing the
absence of captioned panoramic video datasets. Extensive experiments
demonstrate the superiority and effectiveness of 360DVD for panorama video
generation. The code and dataset will be released soon.
- Abstract(参考訳): 360度パノラマ動画は最近、没入体験の高まりによって、研究と応用の両方により多くの関心を寄せている。
360度パノラマビデオを撮影するコストがかかるため、所定のプロンプトで所望のパノラマ動画を生成する必要がある。
近年,テキスト・ツー・ビデオ(T2V)拡散法が標準映像生成において顕著な効果を示した。
しかし、パノラマビデオと標準ビデオの間のコンテンツと動きのパターンが著しく異なるため、これらの手法は満足のいく360度パノラマビデオを生み出すという困難に直面する。
本稿では,パノラマ映像を生成するための360DVD(360-Degree Video Diffusion model)という制御可能なパノラマ映像生成パイプラインを提案する。
具体的には、360-Adapterと呼ばれる軽量モジュールを導入し、360度ビデオ生成のための事前学習されたT2Vモデルを変換する。
さらに,360度ビデオテキストペアによるパノラマデータセット WEB360 を提案し,キャプション付きパノラマビデオデータセットの欠如に対処する。
パノラマビデオ生成における360dvdの優位性と有効性を示す広範な実験。
コードとデータセットは間もなくリリースされる。
関連論文リスト
- See360: Novel Panoramic View Interpolation [24.965259708297932]
See360は、潜在空間視点推定を用いた360パノラマビューのための汎用的で効率的なフレームワークである。
提案手法は,4つのデータセットに対する任意のビューのリアルタイムレンダリングを実現するのに十分な汎用性を有することを示す。
論文 参考訳(メタデータ) (2024-01-07T09:17:32Z) - DreamVideo: Composing Your Dream Videos with Customized Subject and
Motion [52.7394517692186]
対象の静的画像からパーソナライズされたビデオを生成する新しいアプローチであるDreamVideoを紹介します。
DreamVideoは、このタスクを、トレーニング済みのビデオ拡散モデルを活用することによって、主観学習とモーション学習の2つの段階に分離する。
モーション学習では、対象のモーションパターンを効果的にモデル化するために、モーションアダプタを設計し、所定のビデオに微調整する。
論文 参考訳(メタデータ) (2023-12-07T16:57:26Z) - PanoVOS: Bridging Non-panoramic and Panoramic Views with Transformer for
Video Segmentation [41.239080205679976]
パノラマビデオデータセットPanoVOSを提案する。
データセットは150本のビデオに高解像度と多様なモーションを提供する。
パノラマ空間整合変換器(PSCFormer)は,従来のフレームのセマンティック境界情報を,現在のフレームとの画素レベルのマッチングに有効に利用することができる。
論文 参考訳(メタデータ) (2023-09-21T17:59:02Z) - 360-Degree Panorama Generation from Few Unregistered NFoV Images [16.05306624008911]
360$circ$パノラマはコンピュータグラフィックスの環境光源として広く利用されている。
360ドル ドル タイムス 180ドル パノラマは 特殊で高価な装置のために 困難を招きます
パノディフと呼ばれる新しいパイプラインを提案し、パノラマを360ドル円で効率よく生成する。
論文 参考訳(メタデータ) (2023-08-28T16:21:51Z) - NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes [59.15910989235392]
屋外シーンのスパースビュー合成のためのNeO 360, Neural Fieldを紹介する。
NeO 360は、単一のまたは少数のRGB画像から360degのシーンを再構成する一般化可能な方法である。
我々の表現は、Voxel-basedとBird's-eye-view (BEV)の両方の表現の長所を組み合わせたものである。
論文 参考訳(メタデータ) (2023-08-24T17:59:50Z) - Video Generation Beyond a Single Clip [76.5306434379088]
ビデオ生成モデルは、実際のビデオの長さと比較して比較的短いビデオクリップしか生成できない。
多様なコンテンツや複数のイベントをカバーした長いビデオを生成するために,ビデオ生成プロセスを制御するための追加のガイダンスを提案する。
提案手法は、固定時間ウィンドウ内でリアルな映像を生成することに焦点を当てた、既存の映像生成の取り組みを補完するものである。
論文 参考訳(メタデータ) (2023-04-15T06:17:30Z) - Panoramic Vision Transformer for Saliency Detection in 360{\deg} Videos [48.54829780502176]
パノラマ・ビジョン・トランス (PAVER) という新しいフレームワークを提案する。
我々は、変形可能な畳み込みを備えた視覚変換器を用いてエンコーダを設計し、通常のビデオからトレーニング済みのモデルを追加モジュールや微調整なしでアーキテクチャにプラグインできるようにする。
本稿では,VQA-ODVにおける全方位映像品質評価タスクを用いて,従属性予測モデルの有用性を実証する。
論文 参考訳(メタデータ) (2022-09-19T12:23:34Z) - Blind VQA on 360{\deg} Video via Progressively Learning from Pixels,
Frames and Video [66.57045901742922]
360度ビデオにおけるブラインド視覚品質評価(BVQA)は,没入型マルチメディアシステムの最適化において重要な役割を担っている。
本稿では,球面映像品質に対する人間の知覚の進歩的パラダイムを考察する。
画素,フレーム,ビデオから段階的に学習することで,360度ビデオのための新しいBVQA手法(ProVQA)を提案する。
論文 参考訳(メタデータ) (2021-11-18T03:45:13Z) - ATSal: An Attention Based Architecture for Saliency Prediction in 360
Videos [5.831115928056554]
本稿では,360度ビデオの注目度に基づく新しいサリエンシモデルであるATSalを提案する。
提案したアプローチを,Salient360!とVR-EyeTrackingという2つのデータセット上で,最先端のSaliencyモデルと比較する。
80以上のODVビデオ(75K以上のフレーム)の実験結果から,提案手法は既存の最先端技術よりも優れていた。
論文 参考訳(メタデータ) (2020-11-20T19:19:48Z) - Revisiting Optical Flow Estimation in 360 Videos [9.997208301312956]
我々は、視点ビデオドメインから360度ビデオドメインへのドメイン適応フレームワークとしてLiteFlowNet360を設計する。
我々は、Kernel Transformer Network(KTN)にインスパイアされた単純なカーネル変換技術を用いて、360度ビデオの固有の歪みに対処する。
実験結果から,提案アーキテクチャを用いた360度ビデオ光流量推定の有望な結果が得られた。
論文 参考訳(メタデータ) (2020-10-15T22:22:21Z) - Perceptual Quality Assessment of Omnidirectional Images as Moving Camera
Videos [49.217528156417906]
ユーザの視聴行動やパノラマの知覚的品質を決定するには,2種類のVR視聴条件が不可欠である。
まず、異なる視聴条件下での異なるユーザの視聴行動を用いて、一方向の画像を複数のビデオ表現に変換する。
次に、高度な2次元フルレファレンスビデオ品質モデルを活用して、知覚された品質を計算する。
論文 参考訳(メタデータ) (2020-05-21T10:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。