論文の概要: IDO-VFI: Identifying Dynamics via Optical Flow Guidance for Video Frame
Interpolation with Events
- arxiv url: http://arxiv.org/abs/2305.10198v1
- Date: Wed, 17 May 2023 13:22:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 16:00:32.538773
- Title: IDO-VFI: Identifying Dynamics via Optical Flow Guidance for Video Frame
Interpolation with Events
- Title（参考訳）: IDO-VFI:イベントによるビデオフレーム補間のための光フロー誘導によるダイナミクスの同定
- Authors: Chenyang Shi, Hanxiao Liu, Jing Jin, Wenzhuo Li, Yuzhen Li, Boyi Wei,
Yibo Zhang
- Abstract要約: ビデオフレーム(VFI)は、再構成フレームを2つの連続フレームに挿入することで、ビデオフレームレートを増加させる。
フレームのみのビデオフレーム方式は、連続するフレーム間の間隔におけるダイナミクスを必然的に失う。
イベントカメラはバイオインスパイアされた視覚センサーであり、各ピクセルは独立して光強度の相対的な変化を認識し、エンコードする。
- 参考スコア（独自算出の注目度）: 14.098949778274733
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video frame interpolation (VFI) increases the video frame rate by inserting a
reconstruction frame into two consecutive frames. Due to the limitation of the
fixed frame rate of ordinary camera, the frame-only video frame interpolation
methods inevitably lose the dynamics in the interval between consecutive
frames. In order to compensate for the lack of inter-frame information, motion
models are often used, but those models cannot account for the real motions.
Event cameras are bio-inspired vision sensor, each pixel of which
independently perceives and encodes relative changes in light intensity. Event
cameras output sparse, asynchronous streams of events instead of frames, with
advantages of high temporal resolution, high dynamics, and low power
consumption. An event is usually expressed as a tuple e=(x,y,p,t), which means
that at timestamp t, an event with polarity is generated at the pixel (x,y).
Positive polarity indicates that the change of light intensity from week to
strong is beyond the threshold, while negative polarity is just the opposite.
Because an event camera has high temporal resolution up to microseconds, it can
capture complete changes or motion between frames.
The event flow is the embodiment of inter-frame changes. Therefore, the
optical flow estimated from the events does not require any motion model to be
fitted, which can be inherently nonlinear. Since events lack intensity
information, frame-based optical flow is complementary to event-based optical
flow. By combining these two kinds of optical flow, more accurate estimation
results can be obtained. Meanwhile, it is possible to reconstruct high-quality
keyframes at any timestamp, since real inter-frame dynamics are captured.
- Abstract（参考訳）: ビデオフレーム補間(VFI)は、再構成フレームを2つの連続フレームに挿入することで、ビデオフレームレートを増加させる。
通常のカメラの固定フレームレートの限界により、フレームのみのフレーム補間法は、連続するフレーム間の間隔のダイナミクスを必然的に失われる。
フレーム間情報の欠如を補うために、運動モデルはよく用いられるが、それらのモデルは実際の動きを説明できない。
イベントカメラはバイオインスパイアされた視覚センサーであり、それぞれのピクセルは独立して光強度の相対的な変化を認識し、エンコードする。
イベントカメラはフレームではなくイベントのスパース、非同期ストリームを出力し、高時間分解能、高ダイナミクス、低消費電力の利点がある。
イベントは通常、タプルe=(x,y,p,t)で表されるので、タイムスタンプtでは、ピクセル(x,y)で極性のあるイベントが生成される。
正極性は、週間から強度への光強度の変化が閾値を超え、負極性は正反対であることを示している。
イベントカメラは時間分解能が最大マイクロ秒であるため、フレーム間の完全な変化や動きを捉えることができる。
イベントフローはフレーム間の変更の具体化である。
したがって、事象から推定される光の流れは、本質的に非線形であるような運動モデルを取り付ける必要がない。
イベントには強度情報がないため、フレームベースの光フローはイベントベースの光フローを補完する。
これら2種類の光流を組み合わせることにより、より正確な推定結果が得られる。
一方、実際のフレーム間ダイナミクスがキャプチャされるため、任意のタイムスタンプで高品質なキーフレームを再構築することができる。
関連論文リスト
- Disentangled Motion Modeling for Video Frame Interpolation [40.83962594702387]
ビデオフレーム(VFI)は、既存のフレーム間の中間フレームを合成し、視覚的滑らかさと品質を高めることを目的としている。
中間動作モデリングに着目して視覚的品質を高めるVFIの拡散に基づく手法であるDistangled Motion Modeling (MoMo)を導入する。
論文 参考訳（メタデータ） (2024-06-25T03:50:20Z) - Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳（メタデータ） (2024-02-05T11:00:14Z) - Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。
既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。
WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
論文 参考訳（メタデータ） (2023-09-07T06:41:15Z) - Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual
Meta-Learning [65.85319901760478]
我々はメタ学習の助けを借りて、適応的に生成された畳み込みカーネルで異なる時間ステップを統一的に処理することを検討する。
我々は、コンテキスト情報と光フローのガイダンスを用いて、中間フレームを合成するデュアルメタ学習フレームフレームワークを開発した。
論文 参考訳（メタデータ） (2022-07-27T17:36:23Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - RAI-Net: Range-Adaptive LiDAR Point Cloud Frame Interpolation Network [5.225160072036824]
捕捉されたフレーム間の中間フレームを合成するLiDARポイントクラウドフレームは、多くのアプリケーションにおいて重要な問題となっている。
本稿では,CNNとの中間表現として範囲画像(RI)を利用してフレーム処理を行う,新しいLiDARポイントクラウド光フレーム法を提案する。
提案手法は,最新の映像フレーム方式よりも知覚的品質の優れたフレームを連続的に実現している。
論文 参考訳（メタデータ） (2021-06-01T13:59:08Z) - FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。
FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
論文 参考訳（メタデータ） (2020-12-15T18:59:30Z) - All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced
Motion Modeling [52.425236515695914]
最先端の手法は、一度に1つのフレームを補間する反復解である。
この研究は、真のマルチフレーム補間子を導入している。
時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
論文 参考訳（メタデータ） (2020-07-23T02:34:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。