論文の概要: RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane Networks

• arxiv url: http://arxiv.org/abs/2401.06035v1
• Date: Thu, 11 Jan 2024 16:48:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-12 13:46:24.826806
• Title: RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane Networks
• Title（参考訳）: raven: 効率的なトライプレーンネットワークによる敵対的ビデオ生成の再考
• Authors: Partha Ghosh, Soubhik Sanyal, Cordelia Schmid, Bernhard Sch\"olkopf
• Abstract要約: 本研究では,長期的空間的および時間的依存に対処する新しい非条件ビデオ生成モデルを提案する。 提案手法は計算複雑性をFLOPの測定値として2ドル程度削減する。 我々のモデルは高精細度ビデオクリップを256時間256ドルピクセルの解像度で合成でき、フレームレート30fpsで5ドル以上まで持続する。
• 参考スコア（独自算出の注目度）: 63.84589410872608
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel unconditional video generative model designed to address long-term spatial and temporal dependencies. To capture these dependencies, our approach incorporates a hybrid explicit-implicit tri-plane representation inspired by 3D-aware generative frameworks developed for three-dimensional object representation and employs a singular latent code to model an entire video sequence. Individual video frames are then synthesized from an intermediate tri-plane representation, which itself is derived from the primary latent code. This novel strategy reduces computational complexity by a factor of $2$ as measured in FLOPs. Consequently, our approach facilitates the efficient and temporally coherent generation of videos. Moreover, our joint frame modeling approach, in contrast to autoregressive methods, mitigates the generation of visual artifacts. We further enhance the model's capabilities by integrating an optical flow-based module within our Generative Adversarial Network (GAN) based generator architecture, thereby compensating for the constraints imposed by a smaller generator size. As a result, our model is capable of synthesizing high-fidelity video clips at a resolution of $256\times256$ pixels, with durations extending to more than $5$ seconds at a frame rate of 30 fps. The efficacy and versatility of our approach are empirically validated through qualitative and quantitative assessments across three different datasets comprising both synthetic and real video clips.
• Abstract（参考訳）: 本研究では,長期的空間的および時間的依存に対処する新しい非条件ビデオ生成モデルを提案する。 これらの依存関係を捉えるために,3次元オブジェクト表現用に開発された3d認識生成フレームワークにインスパイアされたハイブリッドな明示的三面表現を取り入れ,ビデオシーケンス全体をモデル化するために特異な潜在コードを用いる。 その後、個々のビデオフレームは中間三面表現から合成され、それはそれ自体が一次潜在コードから派生している。 この新しい戦略は計算の複雑さをフロップで測定した2ドル程度削減する。 提案手法は,映像の効率的かつ時間的コヒーレントな生成を促進する。 さらに,ジョイントフレームモデリングアプローチは,自己回帰的な手法とは対照的に,視覚的アーティファクトの生成を緩和する。 我々は、GAN(Generative Adversarial Network)ベースのジェネレータアーキテクチャに光フローベースモジュールを統合することにより、より小さなジェネレータサイズによる制約を補償することで、モデルの性能をさらに向上させる。 その結果、このモデルは256\times256$の解像度で高精細なビデオクリップを合成でき、フレームレート30fpsで5ドル(約5,700円)以上もする。 本手法の有効性と汎用性は,合成ビデオクリップと実映像クリップの両方からなる3つのデータセットの質的および定量的評価を通じて実証的に検証される。

関連論文リスト

• VideoMV: Consistent Multi-View Generation Based on Large Video Generative Model [34.35449902855767]
  基本的な2つの質問は、トレーニングに使用するデータと、マルチビューの一貫性を確保する方法です。 本稿では,市販のビデオ生成モデルから微調整した,密集した一貫したマルチビュー生成モデルを提案する。 我々のアプローチは24の濃密なビューを生成し、最先端のアプローチよりもはるかに高速にトレーニングに収束する。
  論文  参考訳（メタデータ） (2024-03-18T17:48:15Z)
• Video-FocalNets: Spatio-Temporal Focal Modulation for Video Action Recognition [112.66832145320434]
  Video-FocalNetは、ローカルなグローバルなコンテキストの両方をモデル化する、ビデオ認識のための効率的かつ効率的なアーキテクチャである。 Video-FocalNetは、自己注意の相互作用と集約のステップを反転させる時間的焦点変調アーキテクチャに基づいている。 我々は,5つの大規模データセット上での映像認識のための最先端のトランスフォーマーモデルに対して,Video-FocalNetsが好適に動作することを示す。
  論文  参考訳（メタデータ） (2023-07-13T17:59:33Z)
• Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation [55.36617538438858]
  本研究では,空間的知覚と時間的知覚の相互作用を強化する新しいアプローチを提案する。 我々はHD-VG-130Mという大規模かつオープンソースのビデオデータセットをキュレートする。
  論文  参考訳（メタデータ） (2023-05-18T11:06:15Z)
• Learning Versatile 3D Shape Generation with Improved AR Models [91.87115744375052]
  自己回帰(AR)モデルはグリッド空間の関節分布をモデル化することにより2次元画像生成において印象的な結果を得た。 本稿では3次元形状生成のための改良された自己回帰モデル(ImAM)を提案する。
  論文  参考訳（メタデータ） (2023-03-26T12:03:18Z)
• Video Probabilistic Diffusion Models in Projected Latent Space [75.4253202574722]
  我々は、PVDM(Latent Video diffusion model)と呼ばれる新しいビデオ生成モデルを提案する。 PVDMは低次元の潜伏空間で映像配信を学習し、限られた資源で高解像度映像を効率的に訓練することができる。
  論文  参考訳（メタデータ） (2023-02-15T14:22:34Z)
• Towards Smooth Video Composition [59.134911550142455]
  ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。 本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。 単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-12-14T18:54:13Z)
• Streaming Radiance Fields for 3D Video Synthesis [32.856346090347174]
  本稿では,実世界のダイナミックシーンの新たなビュー合成のための,ストリーミングレージアンス場再構築のための明示的グリッドベース手法を提案する。 挑戦的なビデオシーケンスの実験により、我々の手法は、フレーム当たり15秒のトレーニング速度を、競合的なレンダリング品質で達成できることが示されている。
  論文  参考訳（メタデータ） (2022-10-26T16:23:02Z)
• Spatio-Temporal Self-Attention Network for Video Saliency Prediction [13.873682190242365]
  3D畳み込みニューラルネットワークは、コンピュータビジョンにおけるビデオタスクに対して有望な結果を得た。 本稿では,ビデオ・サリエンシ予測のための時空間自己注意3ネットワーク(STSANet)を提案する。
  論文  参考訳（メタデータ） (2021-08-24T12:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。