論文の概要: Unified Arbitrary-Time Video Frame Interpolation and Prediction
- arxiv url: http://arxiv.org/abs/2503.02316v1
- Date: Tue, 04 Mar 2025 06:17:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:17:58.065493
- Title: Unified Arbitrary-Time Video Frame Interpolation and Prediction
- Title（参考訳）: 任意時間ビデオフレームの統一補間と予測
- Authors: Xin Jin, Longhai Wu, Jie Chen, Ilhyun Cho, Cheul-Hee Hahm,
- Abstract要約: ビデオフレームと予測は、それぞれ既存のフレームとそれに続くフレームを合成することを目的としている。
任意の時間予測は広く研究されているが、任意の時間予測の値は概ね見過ごされている。
任意時間ビデオ補間と予測を統一したuniVIPを提案する。
- 参考スコア（独自算出の注目度）: 9.610711105923357
- License:
- Abstract: Video frame interpolation and prediction aim to synthesize frames in-between and subsequent to existing frames, respectively. Despite being closely-related, these two tasks are traditionally studied with different model architectures, or same architecture but individually trained weights. Furthermore, while arbitrary-time interpolation has been extensively studied, the value of arbitrary-time prediction has been largely overlooked. In this work, we present uniVIP - unified arbitrary-time Video Interpolation and Prediction. Technically, we firstly extend an interpolation-only network for arbitrary-time interpolation and prediction, with a special input channel for task (interpolation or prediction) encoding. Then, we show how to train a unified model on common triplet frames. Our uniVIP provides competitive results for video interpolation, and outperforms existing state-of-the-arts for video prediction. Codes will be available at: https://github.com/srcn-ivl/uniVIP
- Abstract（参考訳）: ビデオフレーム補間と予測は,それぞれ既存のフレーム間のフレームを合成することを目的としている。
密接に関連しているにもかかわらず、これらの2つのタスクは伝統的に異なるモデルアーキテクチャ、または同じアーキテクチャで研究されているが、個別に訓練された重みがある。
さらに、任意時間補間は広く研究されているが、任意の時間予測の値は概ね見過ごされている。
本稿では,uniVIP - 統合された任意時間ビデオ補間と予測について述べる。
技術的には、任意時間補間および予測のための補間専用ネットワークを、タスク(補間または予測)エンコーディングのための特別な入力チャネルで拡張する。
次に、共通三重項フレーム上で統一モデルをトレーニングする方法を示す。
我々のユニVIPは、ビデオ補間のための競合的な結果を提供し、ビデオ予測のための既存の最先端技術よりも優れています。
https://github.com/srcn-ivl/uniVIP
関連論文リスト
- A unified model for continuous conditional video prediction [14.685237010856953]
条件付きビデオ予測タスクは通常、タスク関連モデルによって解決される。
ほぼ全ての条件付きビデオ予測モデルは、離散的な予測しか達成できない。
本稿では,これら2つの問題を同時に扱う統一モデルを提案する。
論文 参考訳（メタデータ） (2022-10-11T22:26:59Z) - VMFormer: End-to-End Video Matting with Transformer [48.97730965527976]
ビデオマッティングは、与えられた入力ビデオシーケンスから各フレームのアルファマットを予測することを目的としている。
ビデオマッチングの最近のソリューションは、ディープ畳み込みニューラルネットワーク(CNN)によって支配されている。
ビデオ・マッティングのためのトランスフォーマー・ベース・エンド・ツー・エンド方式であるVMFormerを提案する。
論文 参考訳（メタデータ） (2022-08-26T17:51:02Z) - TTVFI: Learning Trajectory-Aware Transformer for Video Frame
Interpolation [50.49396123016185]
ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを合成することを目的としている。
ビデオフレーム補間用トラジェクトリ対応トランス (TTVFI) を提案する。
提案手法は,4つの広く使用されているVFIベンチマークにおいて,他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-19T03:37:49Z) - Optimizing Video Prediction via Video Frame Interpolation [53.16726447796844]
本稿では,映像フレームスケープのフォトリアリスティックな結果にインスパイアされた,映像フレームによる映像予測のための新しい最適化フレームワークを提案する。
我々のフレームワークは、トレーニングデータセットを必要とせずに、事前訓練された差別化可能なビデオフレームモジュールによる最適化に基づいている。
我々の手法は、大量のトレーニングデータや余分な意味情報を必要とする他のビデオ予測手法よりも優れている。
論文 参考訳（メタデータ） (2022-06-27T17:03:46Z) - Stand-Alone Inter-Frame Attention in Video Models [164.06137994796487]
フレーム間アテンションブロック,すなわちスタンドアローン時空間アテンション(SIFA)の新たなレシピを提案する。
SIFAは、2つのフレームの違いによってオフセット予測を再スケーリングすることで、変形可能な設計を再構築する。
さらに、SIFAブロックをConvNetsとVision Transformerにプラグインし、SIFA-NetとSIFA-Transformerを考案する。
論文 参考訳（メタデータ） (2022-06-14T15:51:28Z) - Masked Conditional Video Diffusion for Prediction, Generation, and
Interpolation [14.631523634811392]
Masked Conditional Video Diffusion (MCVD) はビデオ予測のための汎用フレームワークである。
私たちは、過去のフレームや将来のフレームをすべて無作為に、無作為に、独立してマスクする方法でモデルをトレーニングします。
提案手法は,1～12日で計算時間を計測し,標準的なビデオ予測ベンチマークにまたがってSOTA結果を生成する。
論文 参考訳（メタデータ） (2022-05-19T20:58:05Z) - Video Prediction at Multiple Scales with Hierarchical Recurrent Networks [24.536256844130996]
本稿では,異なるレベルの粒度の将来の結果を同時に予測できる新しい映像予測モデルを提案する。
空間的および時間的ダウンサンプリングを組み合わせることで、MSPredは長い時間的地平線上での抽象表現を効率的に予測することができる。
実験では,提案モデルが将来の映像フレームだけでなく,様々なシナリオにおける他の表現を正確に予測できることを実証した。
論文 参考訳（メタデータ） (2022-03-17T13:08:28Z) - Video Frame Interpolation without Temporal Priors [91.04877640089053]
ビデオフレームは、既存の中間フレームをビデオシーケンスで合成することを目的としている。
フレーム/秒(FPS)やフレーム露光時間といったビデオの時間的先行は、異なるカメラセンサーによって異なる場合がある。
我々は、より良い合成結果を得るために、新しい光フロー改善戦略を考案する。
論文 参考訳（メタデータ） (2021-12-02T12:13:56Z) - Asymmetric Bilateral Motion Estimation for Video Frame Interpolation [50.44508853885882]
非対称な左右運動推定(ABME)に基づく新しいビデオフレームアルゴリズムを提案する。
我々は左右対称運動場を予測してアンカーフレームを補間する。
アンカーフレームから入力フレームへの非対称な左右運動場を推定する。
第三に、非対称場を用いて入力フレームを後方にワープし、中間フレームを再構築する。
論文 参考訳（メタデータ） (2021-08-15T21:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。