論文の概要: MiVID: Multi-Strategic Self-Supervision for Video Frame Interpolation using Diffusion Model

• arxiv url: http://arxiv.org/abs/2511.06019v1
• Date: Sat, 08 Nov 2025 14:10:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.710467
• Title: MiVID: Multi-Strategic Self-Supervision for Video Frame Interpolation using Diffusion Model
• Title（参考訳）: MiVID:拡散モデルを用いたビデオフレーム補間のための多段階セルフスーパービジョン
• Authors: Priyansh Srivastava, Romit Chatterjee, Abir Sen, Aradhana Behura, Ratnakar Dash,
• Abstract要約: この記事では、ビデオレンダリングのための軽量で自己監督型の拡散ベースのフレームワークであるMiVIDを紹介する。 本モデルでは,3次元U-Netバックボーンとトランスフォーマスタイルの時間的注意を組み合わせることで,明示的な動き推定の必要性を解消する。 この結果から,MiVIDは50エポックしか得られず,教師付きベースラインと競合することがわかった。
• 参考スコア（独自算出の注目度）: 2.9795035162522194
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Video Frame Interpolation (VFI) remains a cornerstone in video enhancement, enabling temporal upscaling for tasks like slow-motion rendering, frame rate conversion, and video restoration. While classical methods rely on optical flow and learning-based models assume access to dense ground-truth, both struggle with occlusions, domain shifts, and ambiguous motion. This article introduces MiVID, a lightweight, self-supervised, diffusion-based framework for video interpolation. Our model eliminates the need for explicit motion estimation by combining a 3D U-Net backbone with transformer-style temporal attention, trained under a hybrid masking regime that simulates occlusions and motion uncertainty. The use of cosine-based progressive masking and adaptive loss scheduling allows our network to learn robust spatiotemporal representations without any high-frame-rate supervision. Our framework is evaluated on UCF101-7 and DAVIS-7 datasets. MiVID is trained entirely on CPU using the datasets and 9-frame video segments, making it a low-resource yet highly effective pipeline. Despite these constraints, our model achieves optimal results at just 50 epochs, competitive with several supervised baselines.This work demonstrates the power of self-supervised diffusion priors for temporally coherent frame synthesis and provides a scalable path toward accessible and generalizable VFI systems.
• Abstract（参考訳）: ビデオフレーム補間(VFI)はビデオ拡張の基盤であり、スローモーションレンダリング、フレームレート変換、ビデオ復元といったタスクの時間的アップスケーリングを可能にする。 古典的な手法は光学フローに依存し、学習に基づくモデルは密接な地道へのアクセスを前提としているが、どちらもオクルージョン、ドメインシフト、あいまいな動きに苦慮している。 この記事では、ビデオ補間のための軽量で自己教師付き拡散ベースのフレームワークであるMiVIDを紹介する。 本モデルでは,3次元U-Netバックボーンとトランスフォーマスタイルの時間的注意を組み合わせ,オクルージョンと運動の不確実性をシミュレートするハイブリッドマスキング方式でトレーニングすることで,明示的な動作推定の必要性を解消する。 コサインベースのプログレッシブマスキングと適応損失スケジューリングを用いることで、ネットワークは高フレームレートの監視なしに堅牢な時空間表現を学習できる。 本フレームワークは,UCF101-7およびDAVIS-7データセットを用いて評価する。 MiVIDは、データセットと9フレームのビデオセグメントを使用して、CPU上で完全にトレーニングされている。 本研究は,時間的コヒーレントフレーム合成における自己教師付き拡散先行のパワーを示し,アクセス可能かつ一般化可能なVFIシステムへのスケーラブルな経路を提供する。

関連論文リスト

• Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion [67.94300151774085]
  本稿では,自己回帰ビデオ拡散モデルのための新しい訓練パラダイムであるSelf Forcingを紹介する。 露光バイアスの長年の問題に対処し、地道的な文脈で訓練されたモデルは、自身の不完全な出力で条件付けられたシーケンスを生成する必要がある。
  論文  参考訳（メタデータ） (2025-06-09T17:59:55Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• You Can Ground Earlier than See: An Effective and Efficient Pipeline for Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
  ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。 それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。 本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
  論文  参考訳（メタデータ） (2023-03-14T12:53:27Z)
• Implicit Motion-Compensated Network for Unsupervised Video Object Segmentation [25.41427065435164]
  教師なしビデオオブジェクトセグメンテーション(UVOS)は、ビデオシーケンスの背景から一次前景オブジェクトを自動的に分離することを目的としている。 既存のUVOS手法では、視覚的に類似した環境(外観ベース)がある場合や、動的背景と不正確な流れ(フローベース)のために予測品質の劣化に悩まされている場合、堅牢性を欠いている。 本稿では,隣接するフレームから特徴レベルにおける現在のフレームへの一致した動き情報と相補的キュー(textiti.e.$, appearance and motion)を組み合わせた暗黙的動き補償ネットワーク(IMCNet)を提案する。
  論文  参考訳（メタデータ） (2022-04-06T13:03:59Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。