論文の概要: ViBiDSampler: Enhancing Video Interpolation Using Bidirectional Diffusion Sampler

• arxiv url: http://arxiv.org/abs/2410.05651v1
• Date: Tue, 8 Oct 2024 03:01:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 17:19:21.196304
• Title: ViBiDSampler: Enhancing Video Interpolation Using Bidirectional Diffusion Sampler
• Title（参考訳）: ViBiDSampler:双方向拡散サンプリングによるビデオ補間強化
• Authors: Serin Yang, Taesung Kwon, Jong Chul Ye,
• Abstract要約: 現在の画像とビデオの拡散モデルは、単一のフレームからビデオを生成するのに強力だが、2フレーム条件付き生成に適応する必要がある。 我々は,これらのオフマンド問題に対処するために,広範囲な再ノイズや微調整を必要とせずに,新しい双方向サンプリング戦略を導入する。 提案手法では,それぞれ開始フレームと終了フレームに条件付き前方経路と後方経路の両方に沿って逐次サンプリングを行い,中間フレームの整合性を確保した。
• 参考スコア（独自算出の注目度）: 53.98558445900626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent progress in large-scale text-to-video (T2V) and image-to-video (I2V) diffusion models has greatly enhanced video generation, especially in terms of keyframe interpolation. However, current image-to-video diffusion models, while powerful in generating videos from a single conditioning frame, need adaptation for two-frame (start & end) conditioned generation, which is essential for effective bounded interpolation. Unfortunately, existing approaches that fuse temporally forward and backward paths in parallel often suffer from off-manifold issues, leading to artifacts or requiring multiple iterative re-noising steps. In this work, we introduce a novel, bidirectional sampling strategy to address these off-manifold issues without requiring extensive re-noising or fine-tuning. Our method employs sequential sampling along both forward and backward paths, conditioned on the start and end frames, respectively, ensuring more coherent and on-manifold generation of intermediate frames. Additionally, we incorporate advanced guidance techniques, CFG++ and DDS, to further enhance the interpolation process. By integrating these, our method achieves state-of-the-art performance, efficiently generating high-quality, smooth videos between keyframes. On a single 3090 GPU, our method can interpolate 25 frames at 1024 x 576 resolution in just 195 seconds, establishing it as a leading solution for keyframe interpolation.
• Abstract（参考訳）: 大規模テキスト・ツー・ビデオ(T2V)と画像・ツー・ビデオ拡散モデル(I2V)の最近の進歩は、特にキーフレーム補間において、ビデオ生成を大幅に向上させた。 しかし、現在の画像間拡散モデルは、単一の条件フレームからビデオを生成するのに強力であるが、効果的な境界補間に欠かせない2フレーム(開始と終了)条件付き生成に適応する必要がある。 残念ながら、時間的に前方と後方の経路を並列に融合する既存のアプローチは、しばしばオフマンドの問題に悩まされ、アーティファクトや複数の反復的な再起動ステップが必要になる。 本研究では,これらのオフマンフォールド問題に対処するために,大規模な再ノイズ化や微調整を必要とせず,新たな双方向サンプリング戦略を導入する。 提案手法では,それぞれ開始フレームと終了フレームに条件付き前方経路と後方経路の両方に沿って逐次サンプリングを行い,中間フレームの整合性を確保した。 さらに,先進的な指導手法であるCFG++とDDSを取り入れ,補間処理をさらに強化する。 これらを統合することで、キーフレーム間の高品質なスムーズな動画を効率よく生成し、最先端のパフォーマンスを実現する。 一つの3090 GPU上では,25フレームを1024×576の解像度でわずか195秒で補間し,キーフレーム補間における主解として確立する。

関連論文リスト

• Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation [60.27691946892796]
  本稿では,一対の入力キーフレーム間のコヒーレントな動きで映像列を生成する手法を提案する。 実験の結果,本手法は既存の拡散法と従来のフレーム技術の両方に優れることがわかった。
  論文  参考訳（メタデータ） (2024-08-27T17:57:14Z)
• Hierarchical Patch Diffusion Models for High-Resolution Video Generation [50.42746357450949]
  我々は,階層的な方法で,コンテキスト情報を低スケールから高スケールのパッチに伝播する深層文脈融合を開発する。 また,ネットワーク容量の増大と,粗い画像の細部への演算を行う適応計算を提案する。 得られたモデルは、クラス条件のビデオ生成において66.32の最先端FVDスコアと87.68のインセプションスコアを新たに設定する。
  論文  参考訳（メタデータ） (2024-06-12T01:12:53Z)
• FusionFrames: Efficient Architectural Aspects for Text-to-Video Generation Pipeline [4.295130967329365]
  本稿では,テキスト・ツー・イメージ拡散モデルに基づく2段階の遅延拡散テキスト・ビデオ生成アーキテクチャを提案する。 本モデルの設計は,他のマスクフレーム手法と比較して計算コストを大幅に削減する。 我々は,MoVQに基づくビデオデコーディング方式の異なる構成を評価し,一貫性を改善し,PSNR,SSIM,MSE,LPIPSのスコアを向上させる。
  論文  参考訳（メタデータ） (2023-11-22T00:26:15Z)
• Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
  本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。 我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
  論文  参考訳（メタデータ） (2023-06-13T17:52:23Z)
• TTVFI: Learning Trajectory-Aware Transformer for Video Frame Interpolation [50.49396123016185]
  ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを合成することを目的としている。 ビデオフレーム補間用トラジェクトリ対応トランス (TTVFI) を提案する。 提案手法は,4つの広く使用されているVFIベンチマークにおいて,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-19T03:37:49Z)
• ALANET: Adaptive Latent Attention Network forJoint Video Deblurring and Interpolation [38.52446103418748]
  シャープな高フレームレート映像を合成する新しいアーキテクチャであるAdaptive Latent Attention Network (ALANET)を導入する。 我々は,各フレームに最適化された表現を生成するために,潜在空間内の連続するフレーム間で自己アテンションと相互アテンションのモジュールを組み合わせる。 本手法は, より困難な問題に取り組みながら, 様々な最先端手法に対して良好に機能する。
  論文  参考訳（メタデータ） (2020-08-31T21:11:53Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。