論文の概要: Fusion-FlowNet: Energy-Efficient Optical Flow Estimation using Sensor
Fusion and Deep Fused Spiking-Analog Network Architectures
- arxiv url: http://arxiv.org/abs/2103.10592v1
- Date: Fri, 19 Mar 2021 02:03:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-22 21:04:21.970179
- Title: Fusion-FlowNet: Energy-Efficient Optical Flow Estimation using Sensor
Fusion and Deep Fused Spiking-Analog Network Architectures
- Title（参考訳）: Fusion-FlowNet: センサフュージョンとディープフューズドスパイキングネットワークアーキテクチャを用いたエネルギー効率の高い光フロー推定
- Authors: Chankyu Lee, Adarsh Kumar Kosta and Kaushik Roy
- Abstract要約: 本稿では,フレームベースとイベントベースの両方のセンサを用いたエネルギー効率の高い光フロー推定のためのセンサ融合フレームワークを提案する。
我々のネットワークは、高価なビデオアノテーションを避けるために教師なし学習を用いてエンドツーエンドで訓練されている。
- 参考スコア（独自算出の注目度）: 7.565038387344594
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standard frame-based cameras that sample light intensity frames are heavily
impacted by motion blur for high-speed motion and fail to perceive scene
accurately when the dynamic range is high. Event-based cameras, on the other
hand, overcome these limitations by asynchronously detecting the variation in
individual pixel intensities. However, event cameras only provide information
about pixels in motion, leading to sparse data. Hence, estimating the overall
dense behavior of pixels is difficult. To address such issues associated with
the sensors, we present Fusion-FlowNet, a sensor fusion framework for
energy-efficient optical flow estimation using both frame- and event-based
sensors, leveraging their complementary characteristics. Our proposed network
architecture is also a fusion of Spiking Neural Networks (SNNs) and Analog
Neural Networks (ANNs) where each network is designed to simultaneously process
asynchronous event streams and regular frame-based images, respectively. Our
network is end-to-end trained using unsupervised learning to avoid expensive
video annotations. The method generalizes well across distinct environments
(rapid motion and challenging lighting conditions) and demonstrates
state-of-the-art optical flow prediction on the Multi-Vehicle Stereo Event
Camera (MVSEC) dataset. Furthermore, our network offers substantial savings in
terms of the number of network parameters and computational energy cost.
- Abstract（参考訳）: 光強度のフレームをサンプリングする標準のフレームベースのカメラは、高速動作のための動きのぼやけによって大きな影響を受け、ダイナミックレンジが高い場合にシーンを正確に認識できない。
一方、イベントベースのカメラは、個々のピクセル強度の変化を非同期に検出することで、これらの制限を克服する。
しかし、イベントカメラは動き中のピクセルに関する情報のみを提供し、スパースデータに繋がる。
したがって、画素の全体的な密度挙動の推定は困難である。
センサにまつわる問題に対処するため,フレームベースとイベントベースの両方のセンサを用いたエネルギー効率の高い光フロー推定のためのセンサ融合フレームワークFusion-FlowNetを提案する。
提案するネットワークアーキテクチャはスパイキングニューラルネットワーク(SNN)とアナログニューラルネットワーク(ANN)の融合であり,それぞれ非同期イベントストリームと通常のフレームベースイメージを同時に処理するように設計されている。
我々のネットワークは、高価なビデオアノテーションを避けるために教師なし学習を用いてエンドツーエンドで訓練されている。
この方法は、異なる環境(ラピッドモーションと挑戦的な照明条件)にわたってよく一般化され、MVSEC(Multi-Vehicle Stereo Event Camera)データセット上で最先端の光フロー予測を示す。
さらに,ネットワークパラメータ数や計算エネルギーコストの観点から,ネットワークの大幅な削減を実現している。
関連論文リスト
- SDformerFlow: Spatiotemporal swin spikeformer for event-based optical flow estimation [10.696635172502141]
イベントカメラは、光強度の変化をキャプチャする非同期でスパースなイベントストリームを生成する。
スパイキングニューラルネットワーク(SNN)も同様の非同期特性とスパース特性を共有しており、イベントカメラに適している。
本稿では,STTFlowNetとSDFlowformerという,高速かつ堅牢なイベントカメラ用光フロー推定手法を提案する。
論文 参考訳（メタデータ） (2024-09-06T07:48:18Z) - Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a
Light-Weight ToF Sensor [58.305341034419136]
単眼カメラと軽量ToFセンサを備えた初の高密度SLAMシステムを提案する。
本稿では,RGBカメラと軽量ToFセンサの両方の信号のレンダリングをサポートするマルチモーダル暗黙のシーン表現を提案する。
実験により,本システムは軽量なToFセンサの信号をうまく利用し,競合的な結果が得られることが示された。
論文 参考訳（メタデータ） (2023-08-28T07:56:13Z) - Revisiting Event-based Video Frame Interpolation [49.27404719898305]
ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。
イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。
イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
論文 参考訳（メタデータ） (2023-07-24T06:51:07Z) - Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。
既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。
本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T15:03:23Z) - Optical flow estimation from event-based cameras and spiking neural
networks [0.4899818550820575]
イベントベースセンサーはスパイキングニューラルネットワーク(SNN)に最適である
教師付きトレーニング後,高密度光フロー推定が可能なU-NetライクなSNNを提案する。
分離可能な畳み込みにより、我々は、合理的に正確な光フロー推定が得られる光モデルを開発することができた。
論文 参考訳（メタデータ） (2023-02-13T16:17:54Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:45:18Z) - Combining Events and Frames using Recurrent Asynchronous Multimodal
Networks for Monocular Depth Prediction [51.072733683919246]
複数のセンサからの非同期および不規則なデータを処理するために、リカレント非同期マルチモーダル(RAM)ネットワークを導入する。
従来のRNNにインスパイアされたRAMネットワークは、非同期に更新され、予測を生成するためにいつでもクエリできる隠れ状態を維持している。
平均深度絶対誤差において,最先端手法を最大30%改善することを示す。
論文 参考訳（メタデータ） (2021-02-18T13:24:35Z) - Back to Event Basics: Self-Supervised Learning of Image Reconstruction
for Event Cameras via Photometric Constancy [0.0]
イベントカメラは、非同期な方法で、低レイテンシで高時間分解能の輝度インクリメントをサンプリングする新しい視覚センサである。
本稿では,光学的フロー推定のための新しい軽量ニューラルネットワークを提案する。
複数のデータセットにまたがる結果から、提案した自己教師型アプローチのパフォーマンスは最先端技術と一致していることがわかる。
論文 参考訳（メタデータ） (2020-09-17T13:30:05Z) - Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。
同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。
理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
論文 参考訳（メタデータ） (2020-03-20T08:39:49Z) - Spike-FlowNet: Event-based Optical Flow Estimation with Energy-Efficient
Hybrid Neural Networks [40.44712305614071]
本稿では,SNNとANNを統合したディープハイブリッドニューラルネットワークアーキテクチャであるSpike-FlowNetを提案する。
このネットワークは、MVSEC(Multi-Vehicle Stereo Event Camera)データセット上で、セルフ教師付き学習でエンドツーエンドにトレーニングされている。
論文 参考訳（メタデータ） (2020-03-14T20:37:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。