論文の概要: Learning Dense and Continuous Optical Flow from an Event Camera
- arxiv url: http://arxiv.org/abs/2211.09078v1
- Date: Wed, 16 Nov 2022 17:53:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 15:49:44.062647
- Title: Learning Dense and Continuous Optical Flow from an Event Camera
- Title(参考訳): イベントカメラからの深度・連続光学的流れの学習
- Authors: Zhexiong Wan, Yuchao Dai, Yuxin Mao
- Abstract要約: DAVISのようなイベントカメラは、高時間分解能イベントと低フレームレートの強度イメージを同時に出力することができる。
既存の光学フロー推定法のほとんどは、2つの連続した画像フレームに基づいており、固定時間間隔でのみ離散フローを推定できる。
本稿では,イベントストリームを持つ単一画像から,深層学習に基づく高密度かつ連続的な光フロー推定フレームワークを提案する。
- 参考スコア(独自算出の注目度): 28.77846425802558
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras such as DAVIS can simultaneously output high temporal
resolution events and low frame-rate intensity images, which own great
potential in capturing scene motion, such as optical flow estimation. Most of
the existing optical flow estimation methods are based on two consecutive image
frames and can only estimate discrete flow at a fixed time interval. Previous
work has shown that continuous flow estimation can be achieved by changing the
quantities or time intervals of events. However, they are difficult to estimate
reliable dense flow , especially in the regions without any triggered events.
In this paper, we propose a novel deep learning-based dense and continuous
optical flow estimation framework from a single image with event streams, which
facilitates the accurate perception of high-speed motion. Specifically, we
first propose an event-image fusion and correlation module to effectively
exploit the internal motion from two different modalities of data. Then we
propose an iterative update network structure with bidirectional training for
optical flow prediction. Therefore, our model can estimate reliable dense flow
as two-frame-based methods, as well as estimate temporal continuous flow as
event-based methods. Extensive experimental results on both synthetic and real
captured datasets demonstrate that our model outperforms existing event-based
state-of-the-art methods and our designed baselines for accurate dense and
continuous optical flow estimation.
- Abstract(参考訳): DAVISのようなイベントカメラは、高時間分解能イベントと低フレームレートの強度イメージを同時に出力することができる。
既存の光学フロー推定法のほとんどは、2つの連続した画像フレームに基づいており、固定時間間隔でのみ離散フローを推定できる。
前回の研究では、イベントの量や時間間隔を変更することで、連続的なフロー推定が可能になることが示されている。
しかし、特にトリガイベントのない地域では、信頼性の高い高密度流れを推定することは困難である。
本稿では,高速動作の正確な知覚を容易にするイベントストリームを用いた1つの画像から,深層学習に基づく高密度連続光フロー推定フレームワークを提案する。
具体的には,まず2種類のデータから内部動作を効果的に活用するイベント画像融合・相関モジュールを提案する。
次に,光フロー予測のための双方向トレーニングによる反復更新ネットワーク構造を提案する。
そこで本モデルでは,信頼性の高い密度流れを2フレーム法として推定し,時間的連続フローをイベントベース法として推定する。
合成データと実データの両方における広範囲な実験結果から,本モデルが既存のイベントベース・オブ・ザ・アート法と,高精度で連続的な光フロー推定のためのベースラインを上回っていることが判明した。
関連論文リスト
- Vision-Informed Flow Image Super-Resolution with Quaternion Spatial
Modeling and Dynamic Flow Convolution [49.45309818782329]
フロー画像超解像(FISR)は、低分解能フロー画像から高分解能乱流速度場を復元することを目的としている。
既存のFISR法は主に自然画像パターンのフロー画像を処理する。
第一流れの視覚特性インフォームドFISRアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-01-29T06:48:16Z) - Towards Anytime Optical Flow Estimation with Event Cameras [35.685866753715416]
イベントカメラは、マイクロ秒間の対数輝度の変化に対応することができる。
イベントカメラを介して収集された既存のデータセットは、限られたフレームレートの光学フローグラウンド真理を提供する。
本研究では,高フレームレートのイベント光流を生成するEVent-based Anytime Flow推定ネットワークであるEVA-Flowを提案する。
論文 参考訳(メタデータ) (2023-07-11T06:15:12Z) - SSTM: Spatiotemporal Recurrent Transformers for Multi-frame Optical Flow
Estimation [0.0]
クローズド領域および外界領域における光流量推定は、光流量推定アルゴリズムの現在の重要な限界の2つである。
最近の最先端の光学フロー推定アルゴリズムは、連続した画像対ごとに連続して光フローを推定する2フレームベースの手法である。
多フレーム画像列から2つ以上の連続する光フローを並列に推定する学習型多フレーム光フロー推定法を提案する。
論文 参考訳(メタデータ) (2023-04-26T23:39:40Z) - Unsupervised Learning Optical Flow in Multi-frame Dynamic Environment
Using Temporal Dynamic Modeling [7.111443975103329]
本稿では,動的シーンの複数フレーム列からの光フロー推定について検討する。
隣接フレームの動作先を用いて、閉鎖領域のより信頼性の高い監視を行う。
KITTI 2012、KITTI 2015、Sintel Clean、Sintel Finalデータセットの実験は、我々の手法の有効性を実証している。
論文 参考訳(メタデータ) (2023-04-14T14:32:02Z) - SCFlow: Optical Flow Estimation for Spiking Camera [50.770803466875364]
スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。
光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。
本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
論文 参考訳(メタデータ) (2021-10-08T06:16:45Z) - Dense Optical Flow from Event Cameras [55.79329250951028]
本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。
提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
論文 参考訳(メタデータ) (2021-08-24T07:39:08Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳(メタデータ) (2021-06-14T10:33:47Z) - Unsupervised Motion Representation Enhanced Network for Action
Recognition [4.42249337449125]
連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。
効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。
UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
論文 参考訳(メタデータ) (2021-03-05T04:14:32Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-10-16T12:36:23Z) - STaRFlow: A SpatioTemporal Recurrent Cell for Lightweight Multi-Frame
Optical Flow Estimation [64.99259320624148]
マルチフレーム光フロー推定のための軽量CNNアルゴリズムを提案する。
結果のSTaRFlowアルゴリズムは、MPI SintelとKitti2015で最先端のパフォーマンスを提供する。
論文 参考訳(メタデータ) (2020-07-10T17:01:34Z) - Single Image Optical Flow Estimation with an Event Camera [38.92408855196647]
イベントカメラはバイオインスパイアされたセンサーで、マイクロ秒解像度の強度変化を報告している。
本稿では,単一画像(潜在的にぼやけた)とイベントに基づく光フロー推定手法を提案する。
論文 参考訳(メタデータ) (2020-04-01T11:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。