論文の概要: SNM-VFI: Symmetric Nonlinear Motion-Guided Generative Video Frame Interpolation
- arxiv url: http://arxiv.org/abs/2608.13460v1
- Date: Thu, 13 Aug 2026 16:43:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.607434
- Title: SNM-VFI: Symmetric Nonlinear Motion-Guided Generative Video Frame Interpolation
- Title（参考訳）: SNM-VFI:対称非線形運動誘導ビデオフレーム補間
- Abstract要約: 本稿では,事前学習した光フローと映像拡散モデルを用いたモーションコントロール可能な映像フレームの学習自由フレームワークを提案する。
SNM-VFIは、多様な動きシナリオにおける強い知覚品質、競争的再構成精度、堅牢な時間的コヒーレンスを実現する。
- 参考スコア（独自算出の注目度）: 54.26896703895789
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose Symmetric Nonlinear Motion-guided Generative Video Frame Interpolation (SNM-VFI), a training-free framework for motion-controllable generative video frame interpolation with pre-trained optical flow and video diffusion models. Unlike conventional diffusion-based VFI methods that synthesize intermediate frames from random noise, SNM-VFI guides the generative process with correspondence-aware frames produced by a symmetric nonlinear motion model. Specifically, we first utilize a pre-trained optical flow model to construct multi-frame nonlinear flow-based intermediate frames and confidence maps. These flow-guided frames are then encoded as latent priors to initialize and iteratively guide a pre-trained Video Diffusion model, enabling the diffusion model to preserve dense motion correspondence while improving perceptual realism. To further enhance output quality, we employ confidence maps to fuse structurally reliable flow-based predictions with diffusion-generated details in uncertain regions such as occlusions and object boundaries. Extensive evaluations on challenging benchmarks, including DAVIS, Sintel, and KITTI, demonstrate that SNM-VFI achieves strong perceptual quality, competitive reconstruction accuracy, and robust temporal coherence across diverse motion scenarios.
- Abstract（参考訳）: 運動制御可能な生成ビデオフレーム補間のためのトレーニング不要なフレームワークであるSNM-VFI(Symmetric Non Motion-Guided Generative Video Frame Interpolation)を提案する。
ランダムノイズから中間フレームを合成する従来の拡散ベースのVFI法とは異なり、SNM-VFIは対称非線形運動モデルにより生成された対応性を考慮したフレームを用いて生成過程を導出する。
具体的には、まず、トレーニング済みの光フローモデルを用いて、多フレーム非線形フローベース中間フレームと信頼性マップを構築する。
これらのフロー誘導フレームは、初期化および反復的に事前学習されたビデオ拡散モデルを導出するために、遅延先行として符号化され、拡散モデルは、知覚リアリズムを改善しつつ、高密度な動き対応を維持することができる。
出力品質をより高めるため,我々は信頼マップを用いて,オクルージョンやオブジェクト境界などの不確実な領域において,構造的に信頼性の高いフローベース予測を拡散した。
DAVIS、Sintel、KITTIなどの挑戦的ベンチマークに対する広範な評価は、SNM-VFIが様々な動きシナリオにおける強い知覚的品質、競争的な再構成精度、堅牢な時間的コヒーレンスを実現していることを示している。
関連論文リスト
- FlowMo: Variance-Based Flow Guidance for Coherent Motion in Video Generation [51.110607281391154]
FlowMoは、テキスト・ビデオ・モデルにおける動きコヒーレンスを高めるためのトレーニング不要のガイダンス手法である。
時間次元のパッチワイドな分散を測定して動きのコヒーレンスを推定し、サンプリング中にこの分散を動的に減少させるためにモデルを導く。
論文 参考訳（メタデータ） (2025-06-01T19:55:33Z) - Generalizable Implicit Motion Modeling for Video Frame Interpolation [51.966062283735596]
フローベースビデオフレーム補間(VFI)における動きの重要性
本稿では,動きモデリングVFIの新規かつ効果的なアプローチである一般インプリシット・モーション・モデリング(IMM)を紹介する。
我々のGIMMは、正確にモデル化された動きを供給することによって、既存のフローベースVFIワークと容易に統合できる。
論文 参考訳（メタデータ） (2024-07-11T17:13:15Z) - Disentangled Motion Modeling for Video Frame Interpolation [40.83962594702387]
ビデオフレーム補間(VFI)は、既存のフレーム間の中間フレームを合成し、視覚的滑らかさと品質を高めることを目的としている。
中間動作モデリングに着目して視覚的品質を高めるVFIの拡散に基づく手法であるDistangled Motion Modeling (MoMo)を導入する。
論文 参考訳（メタデータ） (2024-06-25T03:50:20Z) - Motion-aware Latent Diffusion Models for Video Frame Interpolation [51.78737270917301]
隣接するフレーム間の動き推定は、動きのあいまいさを避ける上で重要な役割を担っている。
我々は、新しい拡散フレームワーク、動き認識潜在拡散モデル(MADiff)を提案する。
提案手法は,既存手法を著しく上回る最先端性能を実現する。
論文 参考訳（メタデータ） (2024-04-21T05:09:56Z) - Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳（メタデータ） (2024-02-05T11:00:14Z) - A Multi-In-Single-Out Network for Video Frame Interpolation without
Optical Flow [14.877766449009119]
深層学習に基づくビデオフレーム (VFI) 法は、2つの入力フレーム間の動きを推定することに集中している。
動作ベクトル推定に依存しないマルチインシングルアウト(MISO)に基づくVFI法を提案する。
我々はMISO-VFIがビデオフレーム内のベクトル時間をよりよくキャプチャできる新しい動き知覚損失を導入した。
論文 参考訳（メタデータ） (2023-11-20T08:29:55Z) - IDO-VFI: Identifying Dynamics via Optical Flow Guidance for Video Frame
Interpolation with Events [14.098949778274733]
イベントカメラは、フレーム間のダイナミクスを極めて高い時間分解能で捉えるのに最適である。
IDO-VFIというイベント・アンド・フレームベースのビデオフレーム方式を提案する。
提案手法は,Vimeo90Kデータセット上での計算時間と計算労力をそれぞれ10%と17%削減しつつ,高品質な性能を維持する。
論文 参考訳（メタデータ） (2023-05-17T13:22:21Z) - FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。
FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
論文 参考訳（メタデータ） (2020-12-15T18:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。