論文の概要: JNMR: Joint Non-linear Motion Regression for Video Frame Interpolation
- arxiv url: http://arxiv.org/abs/2206.04231v1
- Date: Thu, 9 Jun 2022 02:47:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-10 14:05:19.227026
- Title: JNMR: Joint Non-linear Motion Regression for Video Frame Interpolation
- Title(参考訳): jnmr:ビデオフレーム補間のための非線形運動回帰
- Authors: Meiqin Liu, Chenming Xu, Chao Yao, Chunyu Lin, and Yao Zhao
- Abstract要約: ビデオフレーム(VFI)は、双方向の歴史的参照から学習可能な動きを歪曲することでフレームを生成することを目的としている。
本稿では,VFIを多変数非線形回帰問題 (MNL) として再構成し,フレーム間の複雑な動きをモデル化するための共同非線形運動回帰戦略を提案する。
- 参考スコア(独自算出の注目度): 36.029484509593544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video frame interpolation (VFI) aims to generate predictive frames by warping
learnable motions from the bidirectional historical references. Most existing
works utilize spatio-temporal semantic information extractor to realize motion
estimation and interpolation modeling, not enough considering with the real
mechanistic rationality of generated middle motions. In this paper, we
reformulate VFI as a multi-variable non-linear (MNL) regression problem, and a
Joint Non-linear Motion Regression (JNMR) strategy is proposed to model
complicated motions of inter-frame. To establish the MNL regression, ConvLSTM
is adopted to construct the distribution of complete motions in temporal
dimension. The motion correlations between the target frame and multiple
reference frames can be regressed by the modeled distribution. Moreover, the
feature learning network is designed to optimize for the MNL regression
modeling. A coarse-to-fine synthesis enhancement module is further conducted to
learn visual dynamics at different resolutions through repetitive regression
and interpolation. Highly competitive experimental results on frame
interpolation show that the effectiveness and significant improvement compared
with state-of-the-art performance, and the robustness of complicated motion
estimation is improved by the MNL motion regression.
- Abstract(参考訳): ビデオフレーム補間(VFI)は、双方向の履歴参照から学習可能な動きを歪曲することで予測フレームを生成することを目的としている。
既存の作品の多くは時空間的意味情報抽出器を用いて動き推定と補間モデルを実現するが、生成した中間運動の実際の機械論的合理性を考慮すると十分ではない。
本稿では,VFIを多変数非線形回帰問題(MNL)として再構成し,フレーム間の複雑な動きをモデル化するためのJNMR(Joint Non-linear Motion Regression)戦略を提案する。
MNL回帰を確立するために、ConvLSTMを用いて時間次元における完全運動の分布を構築する。
モデル分布により、ターゲットフレームと複数の参照フレームとの動作相関を後退させることができる。
さらに,MNL回帰モデリングのために,特徴学習ネットワークを最適化する。
さらに、繰り返し回帰と補間によって異なる解像度で視覚力学を学ぶために、粗大な合成強化モジュールが実行される。
フレーム補間における高い競争力を持つ実験結果から,MNLの動作回帰により,最先端性能と比較して実効性と有意な改善が得られ,複雑な動き推定の堅牢性も向上した。
関連論文リスト
- Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳(メタデータ) (2024-02-05T11:00:14Z) - Spatial-Temporal Transformer based Video Compression Framework [44.723459144708286]
本稿では,STT-VC(Spatial-Temporal Transformer based Video Compression)フレームワークを提案する。
動作推定と補償のためのオフセット推定のためのUformerベースのオフセット推定を備えたRelaxed Deformable Transformer (RDT)と、予測改善のためのマルチ参照フレームに基づくMulti-Granularity Prediction (MGP)モジュールと、時間空間的継手残留圧縮を効率的に行うSpatial Feature Distribution prior based Transformer (SFD-T)を含む。
実験の結果,VTMよりも13.5%のBD-Rateを節約できることがわかった。
論文 参考訳(メタデータ) (2023-09-21T09:23:13Z) - Shuffled Autoregression For Motion Interpolation [53.61556200049156]
この作業は、モーションタスクのためのディープラーニングソリューションを提供することを目的としている。
本稿では,自己回帰を任意の(シャッフルされた)順序で生成するために拡張する,emphShuffled AutoRegressionと呼ばれる新しいフレームワークを提案する。
また,3つのステージを終端から終端の時空間運動変換器に組み込んだ依存グラフの構築手法を提案する。
論文 参考訳(メタデータ) (2023-06-10T07:14:59Z) - Video Frame Interpolation with Densely Queried Bilateral Correlation [52.823751291070906]
Video Frame Interpolation (VFI) は、既存のフレーム間で既存の中間フレームを合成することを目的としている。
フローベースVFIアルゴリズムは、中間運動場を推定し、既存のフレームをワープする。
本稿では,DQBC(Densely Queried Bilateral correlation, DQBC)を提案する。
論文 参考訳(メタデータ) (2023-04-26T14:45:09Z) - Enhanced Bi-directional Motion Estimation for Video Frame Interpolation [0.05541644538483946]
本稿では,動画フレーム推定のための新しいアルゴリズムを提案する。
提案手法は,広い範囲の動画フレームベンチマークにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2022-06-17T06:08:43Z) - Long-term Video Frame Interpolation via Feature Propagation [95.18170372022703]
ビデオフレーム(VFI)は、まず入力間の動きを推定し、次に推定された動きで入力を目標時間にワープすることで、中間フレーム(s)を予測する。
入力シーケンス間の時間的距離が増加すると、このアプローチは最適ではない。
本稿では,従来の特徴レベルの予測を新しいモーション・トゥ・フェース・アプローチで拡張した伝搬ネットワーク(PNet)を提案する。
論文 参考訳(メタデータ) (2022-03-29T10:47:06Z) - Motion-aware Dynamic Graph Neural Network for Video Compressive Sensing [17.441522549583805]
ビデオスナップショットイメージング(SCI)は、2D検出器を使用してシーケンシャルなビデオフレームをキャプチャし、それらを1つの測定値に圧縮する。
既存の再建手法の多くは、長期の空間的および時間的依存関係をキャプチャできない。
本稿では,空間内の画素間の非局所的相互作用を効率的にモデル化するための,グラフニューラルネットワーク(GNN)に基づくフレキシブルでロバストなアプローチを提案する。
論文 参考訳(メタデータ) (2022-03-01T12:13:46Z) - Learning a Generative Motion Model from Image Sequences based on a
Latent Motion Matrix [8.774604259603302]
画像列の時間的登録をシミュレートして確率的動きモデルを学ぶ。
3つの最先端登録アルゴリズムと比較して,登録精度と時間的にスムーズな整合性が改善された。
また, フレームの欠落のあるシーケンスからの動作再構成を改良し, 動作解析, シミュレーション, 超解像に対するモデルの適用性を実証した。
論文 参考訳(メタデータ) (2020-11-03T14:44:09Z) - All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced
Motion Modeling [52.425236515695914]
最先端の手法は、一度に1つのフレームを補間する反復解である。
この研究は、真のマルチフレーム補間子を導入している。
時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
論文 参考訳(メタデータ) (2020-07-23T02:34:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。