論文の概要: Lightweight Event-based Optical Flow Estimation via Iterative Deblurring
- arxiv url: http://arxiv.org/abs/2211.13726v1
- Date: Thu, 24 Nov 2022 17:26:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 16:45:37.537344
- Title: Lightweight Event-based Optical Flow Estimation via Iterative Deblurring
- Title(参考訳): 反復分解による軽量イベントベース光フロー推定
- Authors: Yilun Wu, Federico Paredes-Vall\'es, Guido C. H. E. de Croon
- Abstract要約: IDNetは相関ボリュームを計算しないイベントベースの光フローネットワークである。
我々は「ID」と「TID」の2つの反復的な更新方式を提案する。
以前の"ID"スキームは、計算における33%の節約とメモリフットプリントの90%という、時間的パフォーマンスに近い状態に到達することができる。
後者の"TID"スキームは、より効率的な計算コストの83%、パフォーマンス低下の18%のコストで15倍のレイテンシを約束している。
- 参考スコア(独自算出の注目度): 13.359590890052457
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inspired by frame-based methods, state-of-the-art event-based optical flow
networks rely on the explicit computation of correlation volumes, which are
expensive to compute and store on systems with limited processing budget and
memory. To this end, we introduce IDNet (Iterative Deblurring Network), a
lightweight yet well-performing event-based optical flow network without using
correlation volumes. IDNet leverages the unique spatiotemporally continuous
nature of event streams to propose an alternative way of implicitly capturing
correlation through iterative refinement and motion deblurring. Our network
does not compute correlation volumes but rather utilizes a recurrent network to
maximize the spatiotemporal correlation of events iteratively. We further
propose two iterative update schemes: "ID" which iterates over the same batch
of events, and "TID" which iterates over time with streaming events in an
online fashion. Benchmark results show the former "ID" scheme can reach close
to state-of-the-art performance with 33% of savings in compute and 90% in
memory footprint, while the latter "TID" scheme is even more efficient
promising 83% of compute savings and 15 times less latency at the cost of 18%
of performance drop.
- Abstract(参考訳): フレームベースの手法に触発されて、最先端のイベントベースの光フローネットワークは相関ボリュームの明示的な計算に依存しており、処理予算とメモリが限られているシステム上で計算・保存するのに費用がかかる。
この目的のために,IDNet(Iterative Deblurring Network)を導入した。
IDNetは、イベントストリームの時空間的連続的なユニークな性質を活用し、反復的な洗練と動きの劣化を通じて、暗黙的に相関を捉える方法を提案する。
我々のネットワークは相関ボリュームを計算せず、リカレントネットワークを用いてイベントの時空間相関を反復的に最大化する。
さらに、同じイベントのバッチを繰り返す"ID"と、オンラインの方法でストリーミングイベントを繰り返す"TID"という2つの反復的な更新スキームを提案する。
ベンチマークの結果、以前の"id"スキームは、計算コストの33%、メモリフットプリントの90%という最先端のパフォーマンスに到達できるが、後者の"tid"スキームはさらに効率的であり、計算節約の83%、パフォーマンス低下の18%のコストで15倍のレイテンシを期待できる。
関連論文リスト
- Context-Aware Iteration Policy Network for Efficient Optical Flow
Estimation [19.077966606237897]
我々は,効率的な光フロー推定のためのコンテキスト認識反復ポリシーネットワークを開発した。
Sintel/KITTIデータセットのFLOPを約40%/20%削減しながら性能を維持できる。
論文 参考訳(メタデータ) (2023-12-12T11:27:13Z) - StreamFlow: Streamlined Multi-Frame Optical Flow Estimation for Video
Sequences [31.210626775505407]
連続するフレーム間のオクルージョンは、長い間、光学的フロー推定において重要な課題を提起してきた。
本稿では,ビデオ入力に適したストリーム・イン・バッチ・マルチフレーム(SIM)パイプラインを提案する。
StreamFlowは、挑戦的なKITTIとSintelデータセットのパフォーマンスだけでなく、排他的領域でも特に改善されている。
論文 参考訳(メタデータ) (2023-11-28T07:53:51Z) - Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。
3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。
これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
論文 参考訳(メタデータ) (2023-08-30T10:57:41Z) - Pushing the Limits of Asynchronous Graph-based Object Detection with
Event Cameras [62.70541164894224]
低計算を維持しながら、そのようなモデルの深さと複雑さを拡大できるアーキテクチャ選択をいくつか導入する。
我々の手法は、密度の高いグラフニューラルネットワークよりも3.7倍高速に動作し、前方通過はわずか8.4msである。
論文 参考訳(メタデータ) (2022-11-22T15:14:20Z) - HALSIE: Hybrid Approach to Learning Segmentation by Simultaneously
Exploiting Image and Event Modalities [6.543272301133159]
イベントカメラは、非同期イベントストリームを生成するためにピクセルごとの強度の変化を検出する。
リアルタイム自律システムにおいて、正確なセマンティックマップ検索のための大きな可能性を秘めている。
イベントセグメンテーションの既存の実装は、サブベースのパフォーマンスに悩まされている。
本研究では,ハイブリット・エンド・エンド・エンドの学習フレームワークHALSIEを提案する。
論文 参考訳(メタデータ) (2022-11-19T17:09:50Z) - Event-based Temporally Dense Optical Flow Estimation with Sequential
Learning [11.026299772309796]
イベントカメラは、動きのぼやけなく素早く動く物体を捉えます。
本稿では,100Hzの時間密流推定を問題として扱うことにより,時間密流推定が可能であることを示す。
論文 参考訳(メタデータ) (2022-10-03T21:50:14Z) - AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。
AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
論文 参考訳(メタデータ) (2022-03-31T16:21:12Z) - Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume
Excitation [65.83008812026635]
本稿では,GCE ( Guided Cost Volume Excitation) を構築し,画像によって誘導されるコストボリュームの簡単なチャネル励磁により,性能が大幅に向上することを示す。
我々はCorrelate-and-Excite(CoEx)と呼ぶエンドツーエンドネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-12T14:32:26Z) - DANCE: DAta-Network Co-optimization for Efficient Segmentation Model
Training and Inference [85.02494022662505]
DANCEは、効率的なセグメンテーションモデルのトレーニングと推論のための自動データネットワーク協調最適化である。
入力イメージを適応的にダウンサンプル/ドロップする自動データスライミングを統合し、画像の空間的複雑さによって導かれるトレーニング損失に対するそれに対応するコントリビューションを制御する。
実験と非難研究により、DANCEは効率的なセグメンテーションに向けて「オールウィン」を達成できることを示した。
論文 参考訳(メタデータ) (2021-07-16T04:58:58Z) - Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。
同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。
理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
論文 参考訳(メタデータ) (2020-03-20T08:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。