論文の概要: VGDFR: Diffusion-based Video Generation with Dynamic Latent Frame Rate

• arxiv url: http://arxiv.org/abs/2504.12259v1
• Date: Wed, 16 Apr 2025 17:09:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:39:18.468917
• Title: VGDFR: Diffusion-based Video Generation with Dynamic Latent Frame Rate
• Title（参考訳）: VGDFR:動的遅延フレームレートによる拡散映像生成
• Authors: Zhihang Yuan, Rui Xie, Yuzhang Shang, Hanling Zhang, Siyuan Wang, Shengen Yan, Guohao Dai, Yu Wang,
• Abstract要約: VGDFRは動的遅延フレームレートを持つ拡散型ビデオ生成のためのトレーニング不要のアプローチである。 VGDFRは、画質の劣化を最小限に抑えながら、ビデオ生成において最大3倍の高速化を実現することができることを示す。
• 参考スコア（独自算出の注目度）: 16.826081397057774
• License:
• Abstract: Diffusion Transformer(DiT)-based generation models have achieved remarkable success in video generation. However, their inherent computational demands pose significant efficiency challenges. In this paper, we exploit the inherent temporal non-uniformity of real-world videos and observe that videos exhibit dynamic information density, with high-motion segments demanding greater detail preservation than static scenes. Inspired by this temporal non-uniformity, we propose VGDFR, a training-free approach for Diffusion-based Video Generation with Dynamic Latent Frame Rate. VGDFR adaptively adjusts the number of elements in latent space based on the motion frequency of the latent space content, using fewer tokens for low-frequency segments while preserving detail in high-frequency segments. Specifically, our key contributions are: (1) A dynamic frame rate scheduler for DiT video generation that adaptively assigns frame rates for video segments. (2) A novel latent-space frame merging method to align latent representations with their denoised counterparts before merging those redundant in low-resolution space. (3) A preference analysis of Rotary Positional Embeddings (RoPE) across DiT layers, informing a tailored RoPE strategy optimized for semantic and local information capture. Experiments show that VGDFR can achieve a speedup up to 3x for video generation with minimal quality degradation.
• Abstract（参考訳）: Diffusion Transformer(DiT)ベースの生成モデルは、ビデオ生成において顕著な成功を収めた。 しかし、それら固有の計算要求は、かなりの効率の課題を引き起こす。 本稿では,実世界の映像の時間的非均一性を生かし,動画が動的情報密度を示すのを観察する。 この時間的非均一性に着想を得たVGDFRを提案する。 VGDFRは、遅延空間の内容の運動周波数に基づいて遅延空間内の要素数を適応的に調整し、低周波セグメントのトークンを減らし、高周波セグメントの細部を保存している。 1)ビデオセグメントのフレームレートを適応的に割り当てる動的フレームレートスケジューラ。 2) 低分解能空間で冗長なフレームをマージする前に,潜在表現を識別表現と整合させる新しい潜在空間フレームマージ法。 3)DiT層にまたがるロータリー位置埋め込み(RoPE)の嗜好分析を行い,意味的および局所的な情報収集に最適化されたRoPE戦略を提示する。 実験の結果,VGDFRは画質劣化を最小限に抑えながら,最大3倍のスピードアップを実現可能であることがわかった。

関連論文リスト

• DLFR-VAE: Dynamic Latent Frame Rate VAE for Video Generation [16.216254819711327]
  本研究では,動的遅延フレームレートVAE(DLFR-VAE)を提案する。 我々のシンプルだが効果的なDLFR-VAEはプラグイン・アンド・プレイモジュールとして機能し、既存のビデオ生成モデルとシームレスに統合できる。
  論文  参考訳（メタデータ） (2025-02-17T15:22:31Z)
• CANeRV: Content Adaptive Neural Representation for Video Compression [89.35616046528624]
  映像圧縮のためのコンテンツ適応型ニューラル表現法(CANeRV)を提案する。 CANeRVは革新的なINRベースのビデオ圧縮ネットワークであり、各ビデオシーケンスの特定の内容に基づいて、構造最適化を適応的に行う。 CNeRVはH.266/VVCと最先端のINRベースの動画圧縮技術の両方を多種多様なビデオデータセットで上回り得ることを示す。
  論文  参考訳（メタデータ） (2025-02-10T06:21:16Z)
• BF-STVSR: B-Splines and Fourier-Best Friends for High Fidelity Spatial-Temporal Video Super-Resolution [14.082598088990352]
  ビデオの空間的特徴と時間的特徴をよりよく表現するために,2つのキーモジュールを備えたC-STVSRフレームワークであるBF-STVSRを提案する。 提案手法は,PSNR や SSIM など様々な指標の最先端性を実現し,空間的詳細化や時間的整合性の向上を図っている。
  論文  参考訳（メタデータ） (2025-01-19T13:29:41Z)
• Improved Video VAE for Latent Video Diffusion Model [55.818110540710215]
  ビデオオートエンコーダ(VAE)は、ピクセルデータを低次元の潜在空間に圧縮することを目的としており、OpenAIのSoraで重要な役割を果たしている。 既存のVAEのほとんどは、時間空間圧縮のために3次元因果構造に事前訓練された画像VAEを注入する。 ビデオVAE(IV-VAE)をさらに改善するための新しいKTCアーキテクチャとGCConvモジュールを提案する。
  論文  参考訳（メタデータ） (2024-11-10T12:43:38Z)
• MotionAura: Generating High-Quality and Motion Consistent Videos using Discrete Diffusion [3.7270979204213446]
  ビデオ処理の課題に対処するための4つの重要なコントリビューションを提示する。 まず,3次元逆ベクトル量子化バリエンコエンコオートコーダを紹介する。 次に,テキスト・ビデオ生成フレームワークであるMotionAuraを紹介する。 第3に,スペクトル変換器を用いたデノナイジングネットワークを提案する。 第4に,Sketch Guided Videopaintingのダウンストリームタスクを導入する。
  論文  参考訳（メタデータ） (2024-10-10T07:07:56Z)
• Enhancing Video-Language Representations with Structural Spatio-Temporal Alignment [130.15775113897553]
  フィンスタは微細な構造的時間的アライメント学習法である。 既存の13の強化されたビデオ言語モデルも一貫して改善されている。
  論文  参考訳（メタデータ） (2024-06-27T15:23:36Z)
• Decouple Content and Motion for Conditional Image-to-Video Generation [6.634105805557556]
  条件付きイメージ・トゥ・ビデオ(cI2V)生成は、条件、すなわち1つの画像とテキストから始まり、信じられる新しいビデオを作成することである。 従来のcI2V生成法は、従来のRGBピクセル空間において、動きの一貫性と視覚的連続性のモデリングに制限がある。 本稿では,対象のRGB画素を空間的内容と時間的動きの2つの異なる成分に分解する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-24T06:08:27Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)
• You Can Ground Earlier than See: An Effective and Efficient Pipeline for Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
  ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。 それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。 本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
  論文  参考訳（メタデータ） (2023-03-14T12:53:27Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。