論文の概要: SCFlow: Optical Flow Estimation for Spiking Camera
- arxiv url: http://arxiv.org/abs/2110.03916v1
- Date: Fri, 8 Oct 2021 06:16:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-12 00:39:33.295461
- Title: SCFlow: Optical Flow Estimation for Spiking Camera
- Title(参考訳): SCFlow:スパイキングカメラの光学的フロー推定
- Authors: Liwen Hu, Rui Zhao, Ziluo Ding, Ruiqin Xiong, Lei Ma and Tiejun Huang
- Abstract要約: スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。
光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。
本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
- 参考スコア(独自算出の注目度): 50.770803466875364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As a bio-inspired sensor with high temporal resolution, Spiking camera has an
enormous potential in real applications, especially for motion estimation in
high-speed scenes. Optical flow estimation has achieved remarkable success in
image-based and event-based vision, but % existing methods cannot be directly
applied in spike stream from spiking camera. conventional optical flow
algorithms are not well matched to the spike stream data. This paper presents,
SCFlow, a novel deep learning pipeline for optical flow estimation for spiking
camera. Importantly, we introduce an proper input representation of a given
spike stream, which is fed into SCFlow as the sole input. We introduce the
\textit{first} spiking camera simulator (SPCS). Furthermore, based on SPCS, we
first propose two optical flow datasets for spiking camera (SPIkingly Flying
Things and Photo-realistic High-speed Motion, denoted as SPIFT and PHM
respectively) corresponding to random high-speed and well-designed scenes.
Empirically, we show that the SCFlow can predict optical flow from spike stream
in different high-speed scenes, and express superiority to existing methods on
the datasets. \textit{All codes and constructed datasets will be released after
publication}.
- Abstract(参考訳): バイオインスパイアされたセンサーは、時間分解能が高いため、スパイキングカメラは実際の用途、特に高速シーンでのモーション推定において大きな可能性を秘めている。
光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。
従来の光学フローアルゴリズムはスパイクストリームデータとよく一致しない。
本稿では,スパイキングカメラ用光フロー推定のための新しい深層学習パイプラインscflowを提案する。
重要なことに、与えられたスパイクストリームの適切な入力表現を導入し、SCFlowを唯一の入力として入力する。
我々は, \textit{first} spiking camera simulator (spcs) を紹介する。
さらに,SPCSに基づいて,ランダムな高速・高設計シーンに対応する2つのスパイキングカメラ用光フローデータセット(SPIFTとPHMと表記される)を提案する。
実験により,sscflowは,異なる高速シーンにおけるスパイクストリームからの光流れを予測でき,データセット上の既存の方法よりも優れていることを示す。
\textit{all codes and built datasets will released after publication} 公開します。
関連論文リスト
- Towards Anytime Optical Flow Estimation with Event Cameras [35.685866753715416]
イベントカメラは、マイクロ秒間の対数輝度の変化に対応することができる。
イベントカメラを介して収集された既存のデータセットは、限られたフレームレートの光学フローグラウンド真理を提供する。
本研究では,高フレームレートのイベント光流を生成するEVent-based Anytime Flow推定ネットワークであるEVA-Flowを提案する。
論文 参考訳(メタデータ) (2023-07-11T06:15:12Z) - BlinkFlow: A Dataset to Push the Limits of Event-based Optical Flow
Estimation [54.24083734729374]
イベントベース光フローのための大規模データを高速に生成するための新しいシミュレータBlinkSimを提案する。
BlinkSimに基づいて,大規模なトレーニングデータセットと評価ベンチマークBlinkFlowを構築した。
実験の結果、BlinkFlowは最先端手法の一般化性能を平均40%以上改善し、最大90%向上した。
論文 参考訳(メタデータ) (2023-03-14T09:03:54Z) - Optical flow estimation from event-based cameras and spiking neural
networks [0.4899818550820575]
イベントベースセンサーはスパイキングニューラルネットワーク(SNN)に最適である
教師付きトレーニング後,高密度光フロー推定が可能なU-NetライクなSNNを提案する。
分離可能な畳み込みにより、我々は、合理的に正確な光フロー推定が得られる光モデルを開発することができた。
論文 参考訳(メタデータ) (2023-02-13T16:17:54Z) - Fast Event-based Optical Flow Estimation by Triplet Matching [13.298845944779108]
イベントカメラは、従来のカメラ(低レイテンシ、高ダイナミックレンジ、低電力など)よりも利点がある。
イベントのパケットを扱う光フロー推定法は、正確性のために速度をトレードオフする。
本稿では,三重項マッチングに基づく新しい光フロー推定手法を提案する。
論文 参考訳(メタデータ) (2022-12-23T09:12:16Z) - RealFlow: EM-based Realistic Optical Flow Dataset Generation from Videos [28.995525297929348]
RealFlowは、ラベルのないリアルなビデオから直接、大規模な光フローデータセットを作成することができるフレームワークである。
まず,一対のビデオフレーム間の光フローを推定し,予測されたフローに基づいて,このペアから新たな画像を生成する。
本手法は,教師付きおよび教師なしの光流法と比較して,2つの標準ベンチマークにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2022-07-22T13:33:03Z) - Dense Optical Flow from Event Cameras [55.79329250951028]
本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。
提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
論文 参考訳(メタデータ) (2021-08-24T07:39:08Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳(メタデータ) (2021-03-08T03:09:37Z) - Personal Privacy Protection via Irrelevant Faces Tracking and Pixelation
in Video Live Streaming [61.145467627057194]
我々は、ビデオライブストリーミングにおいて、自動プライバシーフィルタリングを生成するためのFace Pixelationと呼ばれる新しい方法を開発した。
無関係な人々の顔の高速かつ正確なピクセル化のために、FPVLSは2つのコアステージのフレームツービデオ構造で構成されています。
収集したビデオライブストリーミングデータセットにおいて、FPVLSは満足度の高い精度、リアルタイム効率を取得し、オーバーピクセル問題を含む。
論文 参考訳(メタデータ) (2021-01-04T16:18:26Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-10-16T12:36:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。