論文の概要: JNMR: Joint Non-linear Motion Regression for Video Frame Interpolation
- arxiv url: http://arxiv.org/abs/2206.04231v3
- Date: Sun, 10 Sep 2023 05:16:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 23:32:40.700112
- Title: JNMR: Joint Non-linear Motion Regression for Video Frame Interpolation
- Title(参考訳): jnmr:ビデオフレーム補間のための非線形運動回帰
- Authors: Meiqin Liu, Chenming Xu, Chao Yao, Chunyu Lin, and Yao Zhao
- Abstract要約: ビデオフレーム(VFI)は、双方向の歴史的参照から学習可能な動きを歪曲することでフレームを生成することを目的としている。
我々は、フレーム間の複雑な動きをモデル化するために、VFIをJNMR(Joint Non-linear Motion Regression)戦略として再構成する。
その結果, 関節運動の退行性は, 最先端の方法と比較して有意に向上した。
- 参考スコア(独自算出の注目度): 47.123769305867775
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video frame interpolation (VFI) aims to generate predictive frames by warping
learnable motions from the bidirectional historical references. Most existing
works utilize spatio-temporal semantic information extractor to realize motion
estimation and interpolation modeling. However, they insufficiently consider
the real mechanistic rationality of generated middle motions. In this paper, we
reformulate VFI as a Joint Non-linear Motion Regression (JNMR) strategy to
model the complicated motions of inter-frame. Specifically, the motion
trajectory between the target frame and the multiple reference frames is
regressed by a temporal concatenation of multi-stage quadratic models. ConvLSTM
is adopted to construct this joint distribution of complete motions in temporal
dimension. Moreover, the feature learning network is designed to optimize for
the joint regression modeling. A coarse-to-fine synthesis enhancement module is
also conducted to learn visual dynamics at different resolutions through
repetitive regression and interpolation. Experimental results on VFI show that
the effectiveness and significant improvement of joint motion regression
compared with the state-of-the-art methods. The code is available at
https://github.com/ruhig6/JNMR.
- Abstract(参考訳): ビデオフレーム補間(VFI)は、双方向の履歴参照から学習可能な動きを歪曲することで予測フレームを生成することを目的としている。
既存の作品の多くは時空間的意味情報抽出器を用いて動き推定と補間モデルを実現している。
しかし、彼らは生成する中間運動の真の機械論的合理性を十分に考慮していない。
本稿では,フレーム間の複雑な動きをモデル化するために,VFIをJNMR(Joint Non-linear Motion Regression)戦略として再構成する。
具体的には、ターゲットフレームと多重参照フレーム間の運動軌跡は、多段階二次モデルの時間的連結により回帰される。
ConvLSTMは、時間次元における完全運動のこの結合分布を構築するために用いられる。
さらに、特徴学習ネットワークは、共同回帰モデリングのために最適化されるように設計されている。
繰り返し回帰と補間によって異なる解像度で視覚力学を学習するために、粗大な合成拡張モジュールも実行される。
VFIによる実験結果から, 関節運動の退行効果は最先端法と比較して有意に向上した。
コードはhttps://github.com/ruhig6/jnmrで入手できる。
関連論文リスト
- Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳(メタデータ) (2024-02-05T11:00:14Z) - Spatial-Temporal Transformer based Video Compression Framework [44.723459144708286]
本稿では,STT-VC(Spatial-Temporal Transformer based Video Compression)フレームワークを提案する。
動作推定と補償のためのオフセット推定のためのUformerベースのオフセット推定を備えたRelaxed Deformable Transformer (RDT)と、予測改善のためのマルチ参照フレームに基づくMulti-Granularity Prediction (MGP)モジュールと、時間空間的継手残留圧縮を効率的に行うSpatial Feature Distribution prior based Transformer (SFD-T)を含む。
実験の結果,VTMよりも13.5%のBD-Rateを節約できることがわかった。
論文 参考訳(メタデータ) (2023-09-21T09:23:13Z) - Shuffled Autoregression For Motion Interpolation [53.61556200049156]
この作業は、モーションタスクのためのディープラーニングソリューションを提供することを目的としている。
本稿では,自己回帰を任意の(シャッフルされた)順序で生成するために拡張する,emphShuffled AutoRegressionと呼ばれる新しいフレームワークを提案する。
また,3つのステージを終端から終端の時空間運動変換器に組み込んだ依存グラフの構築手法を提案する。
論文 参考訳(メタデータ) (2023-06-10T07:14:59Z) - Video Frame Interpolation with Densely Queried Bilateral Correlation [52.823751291070906]
Video Frame Interpolation (VFI) は、既存のフレーム間で既存の中間フレームを合成することを目的としている。
フローベースVFIアルゴリズムは、中間運動場を推定し、既存のフレームをワープする。
本稿では,DQBC(Densely Queried Bilateral correlation, DQBC)を提案する。
論文 参考訳(メタデータ) (2023-04-26T14:45:09Z) - Enhanced Bi-directional Motion Estimation for Video Frame Interpolation [0.05541644538483946]
本稿では,動画フレーム推定のための新しいアルゴリズムを提案する。
提案手法は,広い範囲の動画フレームベンチマークにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2022-06-17T06:08:43Z) - Long-term Video Frame Interpolation via Feature Propagation [95.18170372022703]
ビデオフレーム(VFI)は、まず入力間の動きを推定し、次に推定された動きで入力を目標時間にワープすることで、中間フレーム(s)を予測する。
入力シーケンス間の時間的距離が増加すると、このアプローチは最適ではない。
本稿では,従来の特徴レベルの予測を新しいモーション・トゥ・フェース・アプローチで拡張した伝搬ネットワーク(PNet)を提案する。
論文 参考訳(メタデータ) (2022-03-29T10:47:06Z) - Motion-aware Dynamic Graph Neural Network for Video Compressive Sensing [17.441522549583805]
ビデオスナップショットイメージング(SCI)は、2D検出器を使用してシーケンシャルなビデオフレームをキャプチャし、それらを1つの測定値に圧縮する。
既存の再建手法の多くは、長期の空間的および時間的依存関係をキャプチャできない。
本稿では,空間内の画素間の非局所的相互作用を効率的にモデル化するための,グラフニューラルネットワーク(GNN)に基づくフレキシブルでロバストなアプローチを提案する。
論文 参考訳(メタデータ) (2022-03-01T12:13:46Z) - Learning a Generative Motion Model from Image Sequences based on a
Latent Motion Matrix [8.774604259603302]
画像列の時間的登録をシミュレートして確率的動きモデルを学ぶ。
3つの最先端登録アルゴリズムと比較して,登録精度と時間的にスムーズな整合性が改善された。
また, フレームの欠落のあるシーケンスからの動作再構成を改良し, 動作解析, シミュレーション, 超解像に対するモデルの適用性を実証した。
論文 参考訳(メタデータ) (2020-11-03T14:44:09Z) - All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced
Motion Modeling [52.425236515695914]
最先端の手法は、一度に1つのフレームを補間する反復解である。
この研究は、真のマルチフレーム補間子を導入している。
時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
論文 参考訳(メタデータ) (2020-07-23T02:34:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。