論文の概要: Adapting Image-to-Video Diffusion Models for Large-Motion Frame Interpolation
- arxiv url: http://arxiv.org/abs/2412.17042v2
- Date: Wed, 08 Jan 2025 08:22:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-09 14:53:23.214751
- Title: Adapting Image-to-Video Diffusion Models for Large-Motion Frame Interpolation
- Title（参考訳）: 大規模フレーム補間のための画像と映像の拡散モデルの適用
- Authors: Luoxu Jin, Hiroshi Watanabe,
- Abstract要約: 本研究では,大動フレームに対して映像間モデルを適用するために設計された条件付きエンコーダを提案する。
性能向上のために,デュアルブランチ特徴抽出器を統合し,クロスフレームアテンション機構を提案する。
提案手法は,他の最先端手法と比較して,Fr'teche Video Distance測定において優れた性能を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: With the development of video generation models has advanced significantly in recent years, we adopt large-scale image-to-video diffusion models for video frame interpolation. We present a conditional encoder designed to adapt an image-to-video model for large-motion frame interpolation. To enhance performance, we integrate a dual-branch feature extractor and propose a cross-frame attention mechanism that effectively captures both spatial and temporal information, enabling accurate interpolations of intermediate frames. Our approach demonstrates superior performance on the Fr\'echet Video Distance (FVD) metric when evaluated against other state-of-the-art approaches, particularly in handling large motion scenarios, highlighting advancements in generative-based methodologies.
- Abstract（参考訳）: 近年,映像生成モデルの開発が著しく進んでいるため,ビデオフレーム補間のための大規模画像間拡散モデルを採用する。
本研究では,大動フレーム補間のための映像間モデルに適応する条件付きエンコーダを提案する。
性能向上のために,デュアルブランチ特徴抽出器を統合し,空間情報と時間情報の両方を効果的に捕捉し,中間フレームの正確な補間を可能にするクロスフレームアテンション機構を提案する。
提案手法は,Fr'echet Video Distance(FVD)測定において,他の最先端手法と比較した場合,特に大規模動作シナリオの処理において優れた性能を示し,生成的手法の進歩を強調している。
関連論文リスト
- Motion-Aware Generative Frame Interpolation [23.380470636851022]
そこで我々は,明示的な動作誘導を統合することで,モデルの動き認識を高めるために,MoG(Motion-Aware Generative frame)を提案する。
提案手法の汎用性を示すため,実世界とアニメーションの両方のデータセット上でMoGをトレーニングする。
論文 参考訳（メタデータ） (2025-01-07T11:03:43Z) - ViBiDSampler: Enhancing Video Interpolation Using Bidirectional Diffusion Sampler [53.98558445900626]
現在の画像とビデオの拡散モデルは、単一のフレームからビデオを生成するのに強力だが、2フレーム条件付き生成に適応する必要がある。
我々は,これらのオフマンド問題に対処するために,広範囲な再ノイズや微調整を必要とせずに,新しい双方向サンプリング戦略を導入する。
提案手法では,それぞれ開始フレームと終了フレームに条件付き前方経路と後方経路の両方に沿って逐次サンプリングを行い,中間フレームの整合性を確保した。
論文 参考訳（メタデータ） (2024-10-08T03:01:54Z) - Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation [60.27691946892796]
本稿では,一対の入力キーフレーム間のコヒーレントな動きで映像列を生成する手法を提案する。
実験の結果,本手法は既存の拡散法と従来のフレーム技術の両方に優れることがわかった。
論文 参考訳（メタデータ） (2024-08-27T17:57:14Z) - Enhanced Bi-directional Motion Estimation for Video Frame Interpolation [0.05541644538483946]
本稿では,動画フレーム推定のための新しいアルゴリズムを提案する。
提案手法は,広い範囲の動画フレームベンチマークにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2022-06-17T06:08:43Z) - Video Frame Interpolation with Transformer [55.12620857638253]
本稿では,ビデオフレーム間の長距離画素相関をモデル化するためにTransformerを利用した新しいフレームワークを提案する。
我々のネットワークは、クロススケールウィンドウが相互に相互作用する新しいウィンドウベースのアテンション機構を備えている。
論文 参考訳（メタデータ） (2022-05-15T09:30:28Z) - Video Frame Interpolation Transformer [86.20646863821908]
本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。
グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。
さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
論文 参考訳（メタデータ） (2021-11-27T05:35:10Z) - ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。
特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。
提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
論文 参考訳（メタデータ） (2021-03-07T04:33:13Z) - All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced
Motion Modeling [52.425236515695914]
最先端の手法は、一度に1つのフレームを補間する反復解である。
この研究は、真のマルチフレーム補間子を導入している。
時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
論文 参考訳（メタデータ） (2020-07-23T02:34:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。