論文の概要: Video Frame Interpolation with Flow Transformer

• arxiv url: http://arxiv.org/abs/2307.16144v1
• Date: Sun, 30 Jul 2023 06:44:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 17:27:13.176471
• Title: Video Frame Interpolation with Flow Transformer
• Title（参考訳）: フロートランスを用いたビデオフレーム補間
• Authors: Pan Gao, Haoyue Tian, Jie Qin
• Abstract要約: ビデオフレームは畳み込みニューラルネットワークの開発で活発に研究されている。 本稿では,映像フレーム補間フロー変換器を提案する。 本フレームワークは, フレームを高い動きで補間するのに適しており, 複雑度は十分低い。
• 参考スコア（独自算出の注目度）: 31.371987879960287
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video frame interpolation has been actively studied with the development of convolutional neural networks. However, due to the intrinsic limitations of kernel weight sharing in convolution, the interpolated frame generated by it may lose details. In contrast, the attention mechanism in Transformer can better distinguish the contribution of each pixel, and it can also capture long-range pixel dependencies, which provides great potential for video interpolation. Nevertheless, the original Transformer is commonly used for 2D images; how to develop a Transformer-based framework with consideration of temporal self-attention for video frame interpolation remains an open issue. In this paper, we propose Video Frame Interpolation Flow Transformer to incorporate motion dynamics from optical flows into the self-attention mechanism. Specifically, we design a Flow Transformer Block that calculates the temporal self-attention in a matched local area with the guidance of flow, making our framework suitable for interpolating frames with large motion while maintaining reasonably low complexity. In addition, we construct a multi-scale architecture to account for multi-scale motion, further improving the overall performance. Extensive experiments on three benchmarks demonstrate that the proposed method can generate interpolated frames with better visual quality than state-of-the-art methods.
• Abstract（参考訳）: ビデオフレーム補間は畳み込みニューラルネットワークの開発で積極的に研究されてきた。 しかしながら、畳み込みにおけるカーネル重み共有の固有の制限のため、畳み込みによって生成される補間フレームは詳細を失う可能性がある。 対照的に、Transformerのアテンションメカニズムは、各ピクセルのコントリビューションをよりよく区別することができ、また、長距離画素依存をキャプチャできるため、ビデオ補間に大きな可能性がある。 しかし、オリジナルのTransformerは2D画像によく使われており、ビデオフレーム補間のための時間的自己アテンションを考慮したTransformerベースのフレームワークの開発は未解決のままである。 本稿では,光流からの運動ダイナミクスを自己着脱機構に組み込むために,映像フレーム補間フロートランスを提案する。 具体的には, 流れの誘導と一致した局所領域における時間的自己着脱を計算し, 合理的に低複雑性を維持しつつ, フレームを大きな動きで補間するのに好適な流れ変圧器ブロックを設計する。 さらに,マルチスケール動作を考慮したマルチスケールアーキテクチャを構築し,全体的な性能を向上する。 3つのベンチマークの大規模な実験により,提案手法は最先端の手法よりも視覚的品質のよい補間フレームを生成可能であることが示された。

関連論文リスト

• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual Meta-Learning [65.85319901760478]
  我々はメタ学習の助けを借りて、適応的に生成された畳み込みカーネルで異なる時間ステップを統一的に処理することを検討する。 我々は、コンテキスト情報と光フローのガイダンスを用いて、中間フレームを合成するデュアルメタ学習フレームフレームワークを開発した。
  論文  参考訳（メタデータ） (2022-07-27T17:36:23Z)
• TTVFI: Learning Trajectory-Aware Transformer for Video Frame Interpolation [50.49396123016185]
  ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを合成することを目的としている。 ビデオフレーム補間用トラジェクトリ対応トランス (TTVFI) を提案する。 提案手法は,4つの広く使用されているVFIベンチマークにおいて,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-19T03:37:49Z)
• Video Frame Interpolation with Transformer [55.12620857638253]
  本稿では,ビデオフレーム間の長距離画素相関をモデル化するためにTransformerを利用した新しいフレームワークを提案する。 我々のネットワークは、クロススケールウィンドウが相互に相互作用する新しいウィンドウベースのアテンション機構を備えている。
  論文  参考訳（メタデータ） (2022-05-15T09:30:28Z)
• Video Frame Interpolation Transformer [86.20646863821908]
  本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。 グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。 さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
  論文  参考訳（メタデータ） (2021-11-27T05:35:10Z)
• EA-Net: Edge-Aware Network for Flow-based Video Frame Interpolation [101.75999290175412]
  補間フレーム内のエッジを保存することにより,画像のぼかしを低減し,オブジェクトの明確な形状を得る。 提案するエッジアウェアネットワーク(eanet)は、エッジ情報をフレームタスクに統合する。 フローマップの推定において,フレームエッジを強調する3つのエッジアウェア機構が開発されている。
  論文  参考訳（メタデータ） (2021-05-17T08:44:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。