論文の概要: Extrapolative-Interpolative Cycle-Consistency Learning for Video Frame Extrapolation

• arxiv url: http://arxiv.org/abs/2005.13194v1
• Date: Wed, 27 May 2020 06:42:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 09:15:35.948966
• Title: Extrapolative-Interpolative Cycle-Consistency Learning for Video Frame Extrapolation
• Title（参考訳）: ビデオフレーム外挿のための外挿-補間サイクル一貫性学習
• Authors: Sangjin Lee, Hyeongmin Lee, Taeoh Kim and Sangyoun Lee
• Abstract要約: 本稿では,事前学習フレームモジュールを用いた新しい補間-補間サイクル(EIC)損失を提案し,補間性能を向上する。 EIC損失は、既存の外挿アルゴリズムに適用でき、短期および長期のフレームにおいて一貫した予測を保証できる。
• 参考スコア（独自算出の注目度）: 10.065260335883575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video frame extrapolation is a task to predict future frames when the past frames are given. Unlike previous studies that usually have been focused on the design of modules or construction of networks, we propose a novel Extrapolative-Interpolative Cycle (EIC) loss using pre-trained frame interpolation module to improve extrapolation performance. Cycle-consistency loss has been used for stable prediction between two function spaces in many visual tasks. We formulate this cycle-consistency using two mapping functions; frame extrapolation and interpolation. Since it is easier to predict intermediate frames than to predict future frames in terms of the object occlusion and motion uncertainty, interpolation module can give guidance signal effectively for training the extrapolation function. EIC loss can be applied to any existing extrapolation algorithms and guarantee consistent prediction in the short future as well as long future frames. Experimental results show that simply adding EIC loss to the existing baseline increases extrapolation performance on both UCF101 and KITTI datasets.
• Abstract（参考訳）: ビデオフレームの補間は、過去のフレームが与えられたときに将来のフレームを予測するタスクである。 従来,モジュールの設計やネットワークの構築に重点を置いてきた研究とは違って,事前学習されたフレーム補間モジュールを用いた新しい外挿-補間サイクル(eic)損失を提案し,補間性能を向上させる。 サイクル一貫性損失は、多くの視覚的タスクにおいて2つの関数空間間の安定な予測に使われてきた。 このサイクル一貫性をフレーム外挿と補間という2つの写像関数を用いて定式化する。 対象のオクルージョンや運動の不確実性の観点から将来のフレームを予測するよりも中間フレームの予測が容易であるため、補間モジュールは外挿機能の訓練に効果的に誘導信号を与えることができる。 EIC損失は、既存の外挿アルゴリズムに適用でき、短期および長期のフレームにおいて一貫した予測を保証できる。 実験の結果,既存のベースラインにEIC損失を加えるだけで,UCF101データセットとKITTIデータセットの補間性能が向上することがわかった。

関連論文リスト

• Video Dynamics Prior: An Internal Learning Approach for Robust Video Enhancements [83.5820690348833]
  外部トレーニングデータコーパスを必要としない低レベルの視覚タスクのためのフレームワークを提案する。 提案手法は,コヒーレンス・時間的テストの重み付けと統計内部統計を利用して,破損したシーケンスを最適化することでニューラルモジュールを学習する。
  論文  参考訳（メタデータ） (2023-12-13T01:57:11Z)
• Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
  ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。 既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。 WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
  論文  参考訳（メタデータ） (2023-09-07T06:41:15Z)
• You Can Ground Earlier than See: An Effective and Efficient Pipeline for Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
  ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。 それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。 本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
  論文  参考訳（メタデータ） (2023-03-14T12:53:27Z)
• Event-Based Frame Interpolation with Ad-hoc Deblurring [68.97825675372354]
  本稿では,入力ビデオのアドホックを損なうイベントベースフレームの一般的な手法を提案する。 我々のネットワークは、フレーム上の最先端の手法、単一画像のデブロアリング、および共同作業のデブロアリングを一貫して上回ります。 コードとデータセットは公開されます。
  論文  参考訳（メタデータ） (2023-01-12T18:19:00Z)
• A new way of video compression via forward-referencing using deep learning [0.0]
  本稿では,すでに符号化されたフレームから人間のポーズをモデル化し,新しい映像符号化手法を提案する。 提案手法は,従来の後方参照フレームの限界を克服できると考えられる。 実験結果から,提案手法は最大2.83dBのPSNRゲインと25.93%の残留保存をハイモーションビデオシーケンスに適用できることがわかった。
  論文  参考訳（メタデータ） (2022-08-13T16:19:11Z)
• Cross-Attention Transformer for Video Interpolation [3.5317804902980527]
  TAIN (Transformers and Attention for video Interpolation) は、2つの連続した画像フレームが配置された中間フレームを補間することを目的としている。 最初に、予測フレームと類似した外観の入力画像特徴をグローバルに集約するために、CS(Cross-Similarity)と呼ばれる新しいビジュアルトランスフォーマーモジュールを提示する。 CS特徴の排他性を考慮し,一方のフレームから他方のフレーム上のCS特徴に焦点を合わせるためのイメージアテンション(IA)モジュールを提案する。
  論文  参考訳（メタデータ） (2022-07-08T21:38:54Z)
• Optimizing Video Prediction via Video Frame Interpolation [53.16726447796844]
  本稿では,映像フレームスケープのフォトリアリスティックな結果にインスパイアされた,映像フレームによる映像予測のための新しい最適化フレームワークを提案する。 我々のフレームワークは、トレーニングデータセットを必要とせずに、事前訓練された差別化可能なビデオフレームモジュールによる最適化に基づいている。 我々の手法は、大量のトレーニングデータや余分な意味情報を必要とする他のビデオ予測手法よりも優れている。
  論文  参考訳（メタデータ） (2022-06-27T17:03:46Z)
• Long-term Video Frame Interpolation via Feature Propagation [95.18170372022703]
  ビデオフレーム(VFI)は、まず入力間の動きを推定し、次に推定された動きで入力を目標時間にワープすることで、中間フレーム(s)を予測する。 入力シーケンス間の時間的距離が増加すると、このアプローチは最適ではない。 本稿では,従来の特徴レベルの予測を新しいモーション・トゥ・フェース・アプローチで拡張した伝搬ネットワーク(PNet)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T10:47:06Z)
• Back to the Future: Cycle Encoding Prediction for Self-supervised Contrastive Video Representation Learning [14.212559301655997]
  サイクル予測は、未ラベル映像の高レベルな構造を表す。 自己超越信号として、CEPはビデオストリームの双方向時間コヒーレンスを利用する。 標準データセット UCF101 と HMDB51 の精度は大幅に向上した。
  論文  参考訳（メタデータ） (2020-10-14T16:31:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。