論文の概要: PEEKABOO: Interactive Video Generation via Masked-Diffusion

• arxiv url: http://arxiv.org/abs/2312.07509v2
• Date: Fri, 19 Apr 2024 22:38:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 00:03:25.605773
• Title: PEEKABOO: Interactive Video Generation via Masked-Diffusion
• Title（参考訳）: PEEKABOO:masked-Diffusionによるインタラクティブビデオ生成
• Authors: Yash Jain, Anshul Nasery, Vibhav Vineet, Harkirat Behl,
• Abstract要約: モジュールベースのビデオ生成モデルにビデオ制御を組み込むための第1のソリューションを提案する。 Peekabooは、既存のビデオ生成モデルとシームレスに統合され、追加のトレーニングや推論オーバーヘッドを必要とせずに、コントロールを提供する。 我々の広範囲な質的および定量的評価により、PeekabooはmIoUのベースラインモデルよりも最大3.8倍改善していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 16.27046318032809
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern video generation models like Sora have achieved remarkable success in producing high-quality videos. However, a significant limitation is their inability to offer interactive control to users, a feature that promises to open up unprecedented applications and creativity. In this work, we introduce the first solution to equip diffusion-based video generation models with spatio-temporal control. We present Peekaboo, a novel masked attention module, which seamlessly integrates with current video generation models offering control without the need for additional training or inference overhead. To facilitate future research, we also introduce a comprehensive benchmark for interactive video generation. This benchmark offers a standardized framework for the community to assess the efficacy of emerging interactive video generation models. Our extensive qualitative and quantitative assessments reveal that Peekaboo achieves up to a 3.8x improvement in mIoU over baseline models, all while maintaining the same latency. Code and benchmark are available on the webpage.
• Abstract（参考訳）: Soraのような現代的なビデオ生成モデルは、高品質なビデオの制作において大きな成功を収めた。 しかし、大きな制限は、前例のないアプリケーションやクリエイティビティをオープンにする機能である、ユーザに対してインタラクティブなコントロールを提供することができないことだ。 本研究では,時空間制御を用いた拡散型ビデオ生成モデルの最初のソリューションを提案する。 Peekabooは、新しいマスキングアテンションモジュールで、トレーニングや推論のオーバーヘッドを伴わずに、コントロールを提供する現在のビデオ生成モデルとシームレスに統合する。 今後の研究を容易にするため,インタラクティブなビデオ生成のための総合的なベンチマークも導入する。 このベンチマークは、コミュニティが新しいインタラクティブなビデオ生成モデルの有効性を評価するための標準化されたフレームワークを提供する。 我々の大規模な定性的および定量的評価により、Peekabooはベースラインモデルよりも3.8倍のmIoU改善を実現し、同じレイテンシを維持していることがわかった。 コードとベンチマークはWebページで公開されている。

関連論文リスト

• Enhance-A-Video: Better Generated Video for Free [57.620595159855064]
  本稿では,DiTをベースとしたビデオのコヒーレンスと品質を高めるためのトレーニング不要な手法を提案する。 我々のアプローチは、リトレーニングや微調整なしに、ほとんどのDiTベースのビデオ生成フレームワークに容易に適用できる。
  論文  参考訳（メタデータ） (2025-02-11T12:22:35Z)
• VideoJAM: Joint Appearance-Motion Representations for Enhanced Motion Generation in Video Models [71.9811050853964]
  VideoJAMは、ビデオジェネレータの前に効果的な動きを注入する新しいフレームワークである。 VideoJAMは動きコヒーレンスにおける最先端のパフォーマンスを達成する。 これらの知見は、外観と動きが相補的であり、効果的に統合されると、映像生成の視覚的品質とコヒーレンスの両方を高めることを強調した。
  論文  参考訳（メタデータ） (2025-02-04T17:07:10Z)
• HunyuanVideo: A Systematic Framework For Large Video Generative Models [82.4392082688739]
  HunyuanVideoは、革新的なオープンソースのビデオファンデーションモデルだ。 データキュレーション、高度なアーキテクチャ設計、プログレッシブモデルスケーリング、トレーニングが組み込まれている。 その結果,13億以上のパラメータを持つビデオ生成モデルの訓練に成功した。
  論文  参考訳（メタデータ） (2024-12-03T23:52:37Z)
• iVideoGPT: Interactive VideoGPTs are Scalable World Models [70.02290687442624]
  世界モデルは、現実の意思決定のために想像された環境の中で、モデルベースのエージェントを対話的に探索し、推論し、計画することを可能にする。 マルチモーダルな信号 – 視覚的観察,アクション,報酬 – を統合した,スケーラブルな自己回帰型トランスフォーマーフレームワークであるInteractive VideoGPTを導入する。 iVideoGPTは、高次元の視覚的観察を効率的に識別する新しい圧縮トークン化技術を備えている。
  論文  参考訳（メタデータ） (2024-05-24T05:29:12Z)
• Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets [36.95521842177614]
  本稿では,高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細映像・高精細映像・高精細・高精細・高精細・高精細・高精細・高精細 我々は,テキスト・ツー・イメージ・プレトレーニング,ビデオ・プレトレーニング,高品質ビデオファインタニングの3つの異なる段階を同定し,評価する。
  論文  参考訳（メタデータ） (2023-11-25T22:28:38Z)
• EvalCrafter: Benchmarking and Evaluating Large Video Generation Models [70.19437817951673]
  これらのモデルはしばしば、マルチアスペクト能力を持つ非常に大きなデータセットで訓練されているので、単純な指標から大きな条件生成モデルを判断することは困難である、と我々は主張する。 我々のアプローチは、テキスト・ツー・ビデオ生成のための700のプロンプトの多種多様な包括的リストを作成することである。 そこで我々は、視覚的品質、コンテンツ品質、動作品質、テキスト・ビデオアライメントの観点から、慎重に設計されたベンチマークに基づいて、最先端のビデオ生成モデルを評価する。
  論文  参考訳（メタデータ） (2023-10-17T17:50:46Z)
• Multi-object Video Generation from Single Frame Layouts [84.55806837855846]
  本研究では,グローバルシーンを局所オブジェクトに合成するビデオ生成フレームワークを提案する。 我々のフレームワークは、画像生成手法からの非自明な適応であり、この分野では新しくなっています。 本モデルは広範に使用されている2つのビデオ認識ベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-05-06T09:07:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。