論文の概要: Following Motion for Sequential Modeling in Video Frame Interpolation
- arxiv url: http://arxiv.org/abs/2608.22861v1
- Date: Mon, 24 Aug 2026 06:43:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.909322
- Title: Following Motion for Sequential Modeling in Video Frame Interpolation
- Title（参考訳）: ビデオフレーム補間における逐次モデリングの追従運動
- Abstract要約: 状態空間モデル(SSM)はビデオフレーム補間(VFI)において有望なアーキテクチャとして浮上した
本稿では,ビデオフレーム補間(MGMVFI)のためのモーションガイドマンバを提案する。
- 参考スコア（独自算出の注目度）: 22.71397762551783
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: State Space Models (SSMs) have surfaced as a promising architecture in Video Frame Interpolation (VFI), as they can capture long-range dependencies with linear computational complexity. However, their predefined scanning order limits their effectiveness in modeling the dynamic motion trajectories inherent in VFI problems. To tackle this challenge, we propose Motion-Guided Mamba for Video Frame Interpolation (MGMVFI), an adaptation of the selective state space model tailored explicitly for VFI. MGMVFI introduces Motion-Guided Serialization (MGS), which leverages optical flow to define a motion-adaptive 1D input order for the SSM. This aligns the causal state updates with semantically related tokens, enabling motion-consistent feature propagation, particularly for large and dynamic motions. Additionally, to mitigate the unreliable feature representations caused by inaccurate optical flow estimates, we introduce contextual synthesis that utilizes the surrounding spatial context for robust inter-frame feature synthesis. These components are seamlessly integrated within our tailored Mamba architecture, which also employs a lightweight refinement block to enhance local detail reconstruction at a reduced computational cost. Extensive experiments on standard VFI benchmarks demonstrate that MGMVFI achievesstate-of-the-artperformance,particularly on complex and dynamic motions, thereby establishing a new direction for sequence modeling in video interpolation.
- Abstract（参考訳）: State Space Models (SSM) は、ビデオフレーム補間(VFI)において、線形計算複雑性で長距離依存関係をキャプチャできる有望なアーキテクチャとして浮上している。
しかし、それらの事前定義された走査順序は、VFI問題に固有の動的運動軌跡をモデル化する際の有効性を制限している。
この課題に対処するため,ビデオフレーム補間のためのMotion-Guided Mamba(MGMVFI)を提案する。
MGMVFIは、光学フローを利用してSSMのモーション適応型1D入力順序を定義する動き誘導シリアライゼーション(MGS)を導入している。
これは因果状態の更新を意味的に関連付けられたトークンと整合させ、特に大規模で動的な動きに対して、動きに一貫性のある特徴の伝播を可能にする。
さらに、不正確な光フロー推定によって生じる信頼できない特徴表現を緩和するために、周囲の空間的コンテキストを利用して、堅牢なフレーム間特徴合成を行うコンテキスト合成を導入する。
これらのコンポーネントは、我々の設計したMambaアーキテクチャにシームレスに統合され、軽量な改善ブロックを使用して、計算コストの削減による局所的な詳細再構築を向上する。
標準VFIベンチマークにおける広範囲な実験により、MGMVFIは、特に複雑な動きと動的動きにおいて、最先端の性能を達成することが示され、ビデオ補間におけるシーケンスモデリングの新しい方向性が確立された。
関連論文リスト
- MASS: Motion-Aligned Selective Scan for Refinement in Flow-Based Video Frame Interpolation [18.165045289069703]
Motion-Aligned Selective Scan (MASS) は静的空間格子から動的運動軌跡へ特徴走査を再構成する新しいフレームワークである。
MASSは各ピクセルのフロー誘導軌道に沿って特徴系列を構築し、それをSSMで集約する。
論文 参考訳（メタデータ） (2026-06-26T04:56:31Z) - A Renaissance of Explicit Motion Information Mining from Transformers for Action Recognition [87.12969639957441]
行動認識は、文脈集約能力のおかげで、トランスフォーマーベースの手法によって支配されている。
本稿では,これらの効果的な動作モデリング特性を,統一的かつ適切な方法で既存の変圧器に統合することを提案する。
提案手法は,既存の最先端手法,特に動きに敏感なデータセットよりも優れている。
論文 参考訳（メタデータ） (2025-10-21T15:01:48Z) - Motion-Aware Concept Alignment for Consistent Video Editing [57.08108545219043]
MoCA-Video (Motion-Aware Concept Alignment in Video) は、画像ドメインのセマンティックミキシングとビデオのギャップを埋めるトレーニング不要のフレームワークである。
生成されたビデオとユーザが提供した参照画像が与えられた後、MoCA-Videoは参照画像のセマンティックな特徴をビデオ内の特定のオブジェクトに注入する。
我々は、標準SSIM、画像レベルLPIPS、時間LPIPSを用いてMoCAの性能を評価し、新しいメトリクスCASS(Conceptual Alignment Shift Score)を導入し、ソースプロンプトと修正ビデオフレーム間の視覚的シフトの一貫性と有効性を評価する。
論文 参考訳（メタデータ） (2025-06-01T13:28:04Z) - Motion-Aware Generative Frame Interpolation [23.380470636851022]
フローベースのフレーム法は、推定中間フローを通しての運動安定性を保証するが、複雑な動き領域で深刻なアーティファクトを導入することが多い。
大規模な事前学習ビデオ生成モデルによって強化された最近の生成的アプローチは、複雑なシーンの処理において有望であることを示している。
本研究では、中間フロー誘導と生成能力を相乗化して忠実度を高める動き認識生成フレーム(MoG)を提案する。
論文 参考訳（メタデータ） (2025-01-07T11:03:43Z) - Generalizable Implicit Motion Modeling for Video Frame Interpolation [51.966062283735596]
フローベースビデオフレーム補間(VFI)における動きの重要性
本稿では,動きモデリングVFIの新規かつ効果的なアプローチである一般インプリシット・モーション・モデリング(IMM)を紹介する。
我々のGIMMは、正確にモデル化された動きを供給することによって、既存のフローベースVFIワークと容易に統合できる。
論文 参考訳（メタデータ） (2024-07-11T17:13:15Z) - Motion-aware Latent Diffusion Models for Video Frame Interpolation [51.78737270917301]
隣接するフレーム間の動き推定は、動きのあいまいさを避ける上で重要な役割を担っている。
我々は、新しい拡散フレームワーク、動き認識潜在拡散モデル(MADiff)を提案する。
提案手法は,既存手法を著しく上回る最先端性能を実現する。
論文 参考訳（メタデータ） (2024-04-21T05:09:56Z) - Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。
SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。
大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
論文 参考訳（メタデータ） (2024-03-22T14:47:18Z) - Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳（メタデータ） (2024-02-05T11:00:14Z) - Interactive Character Control with Auto-Regressive Motion Diffusion Models [18.727066177880708]
リアルタイム動作合成のためのA-MDM(Auto-Regressive Motion Diffusion Model)を提案する。
我々の条件拡散モデルは初期ポーズを入力とし、前者のフレームに条件付けられた連続した動きフレームを自動回帰的に生成する。
本稿では,タスク指向サンプリング,インペインティング,階層的強化学習など,対話型制御をA-MDMに組み込む一連の手法を紹介する。
論文 参考訳（メタデータ） (2023-06-01T07:48:34Z) - JNMR: Joint Non-linear Motion Regression for Video Frame Interpolation [47.123769305867775]
ビデオフレーム(VFI)は、双方向の歴史的参照から学習可能な動きを歪曲することでフレームを生成することを目的としている。
我々は、フレーム間の複雑な動きをモデル化するために、VFIをJNMR(Joint Non-linear Motion Regression)戦略として再構成する。
その結果, 関節運動の退行性は, 最先端の方法と比較して有意に向上した。
論文 参考訳（メタデータ） (2022-06-09T02:47:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。