論文の概要: IDO-VFI: Identifying Dynamics via Optical Flow Guidance for Video Frame Interpolation with Events

• arxiv url: http://arxiv.org/abs/2305.10198v2
• Date: Thu, 18 May 2023 07:06:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 10:24:49.026813
• Title: IDO-VFI: Identifying Dynamics via Optical Flow Guidance for Video Frame Interpolation with Events
• Title（参考訳）: IDO-VFI:イベントによるビデオフレーム補間のための光フロー誘導によるダイナミクスの同定
• Authors: Chenyang Shi, Hanxiao Liu, Jing Jin, Wenzhuo Li, Yuzhen Li, Boyi Wei, Yibo Zhang
• Abstract要約: イベントカメラは、フレーム間のダイナミクスを極めて高い時間分解能で捉えるのに最適である。 IDO-VFIというイベント・アンド・フレームベースのビデオフレーム方式を提案する。 提案手法は,Vimeo90Kデータセット上での計算時間と計算労力をそれぞれ10%と17%削減しつつ,高品質な性能を維持する。
• 参考スコア（独自算出の注目度）: 14.098949778274733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video frame interpolation aims to generate high-quality intermediate frames from boundary frames and increase frame rate. While existing linear, symmetric and nonlinear models are used to bridge the gap from the lack of inter-frame motion, they cannot reconstruct real motions. Event cameras, however, are ideal for capturing inter-frame dynamics with their extremely high temporal resolution. In this paper, we propose an event-and-frame-based video frame interpolation method named IDO-VFI that assigns varying amounts of computation for different sub-regions via optical flow guidance. The proposed method first estimates the optical flow based on frames and events, and then decides whether to further calculate the residual optical flow in those sub-regions via a Gumbel gating module according to the optical flow amplitude. Intermediate frames are eventually generated through a concise Transformer-based fusion network. Our proposed method maintains high-quality performance while reducing computation time and computational effort by 10% and 17% respectively on Vimeo90K datasets, compared with a unified process on the whole region. Moreover, our method outperforms state-of-the-art frame-only and frames-plus-events methods on multiple video frame interpolation benchmarks. Codes and models are available at https://github.com/shicy17/IDO-VFI.
• Abstract（参考訳）: ビデオフレーム補間は、境界フレームから高品質な中間フレームを生成し、フレームレートを上げることを目的としている。 既存の線形、対称および非線形モデルは、フレーム間運動の欠如からギャップを埋めるために使用されるが、実際の運動を再構築することはできない。 しかし、イベントカメラはフレーム間のダイナミクスを極めて高い時間分解能で捉えるのに最適である。 本稿では,様々なサブ領域の計算量を光学フロー誘導により割り当てる,イベント・フレームベースの映像フレーム補間法であるido-vfiを提案する。 提案手法は,まずフレームとイベントに基づいて光学フローを推定し,その後,光学フロー振幅に応じてガムベルゲーティングモジュールを介して,それらのサブ領域における残留光学フローを更に計算するかどうかを判定する。 中間フレームは最終的に簡潔なトランスフォーマーベースの融合ネットワークを介して生成される。 提案手法は,Vimeo90Kデータセット上での計算時間と計算労力をそれぞれ10%と17%削減しつつ,高品質な性能を維持する。 さらに,本手法は,複数のビデオフレーム補間ベンチマークにおいて,最先端のフレームオンリーおよびフレームオーバーイベント法より優れる。 コードとモデルはhttps://github.com/shicy17/ido-vfiで入手できる。

関連論文リスト

• Disentangled Motion Modeling for Video Frame Interpolation [40.83962594702387]
  ビデオフレーム(VFI)は、既存のフレーム間の中間フレームを合成し、視覚的滑らかさと品質を高めることを目的としている。 中間動作モデリングに着目して視覚的品質を高めるVFIの拡散に基づく手法であるDistangled Motion Modeling (MoMo)を導入する。
  論文  参考訳（メタデータ） (2024-06-25T03:50:20Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
  ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。 既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。 WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
  論文  参考訳（メタデータ） (2023-09-07T06:41:15Z)
• Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual Meta-Learning [65.85319901760478]
  我々はメタ学習の助けを借りて、適応的に生成された畳み込みカーネルで異なる時間ステップを統一的に処理することを検討する。 我々は、コンテキスト情報と光フローのガイダンスを用いて、中間フレームを合成するデュアルメタ学習フレームフレームワークを開発した。
  論文  参考訳（メタデータ） (2022-07-27T17:36:23Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• RAI-Net: Range-Adaptive LiDAR Point Cloud Frame Interpolation Network [5.225160072036824]
  捕捉されたフレーム間の中間フレームを合成するLiDARポイントクラウドフレームは、多くのアプリケーションにおいて重要な問題となっている。 本稿では,CNNとの中間表現として範囲画像(RI)を利用してフレーム処理を行う,新しいLiDARポイントクラウド光フレーム法を提案する。 提案手法は,最新の映像フレーム方式よりも知覚的品質の優れたフレームを連続的に実現している。
  論文  参考訳（メタデータ） (2021-06-01T13:59:08Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。