論文の概要: Lightweight Event-based Optical Flow Estimation via Iterative Deblurring
- arxiv url: http://arxiv.org/abs/2211.13726v4
- Date: Sun, 5 May 2024 08:17:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 03:39:13.958243
- Title: Lightweight Event-based Optical Flow Estimation via Iterative Deblurring
- Title（参考訳）: 反復分解による軽量イベントベース光フロー推定
- Authors: Yilun Wu, Federico Paredes-Vallés, Guido C. H. E. de Croon,
- Abstract要約: 相関ボリュームを使わずにイベントトレースからのフローを直接推定する,軽量かつ高性能なイベントベース光フローネットワークIDNetを導入する。
当社のトップパフォーマンスIDモデルは、DSECベンチマークで新たな最先端技術を設定しています。
NVidia Jetson Xavier NXでは,パラメータを80%削減し,メモリフットプリントを20倍削減し,40%高速動作を実現しています。
- 参考スコア（独自算出の注目度）: 22.949700247611695
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inspired by frame-based methods, state-of-the-art event-based optical flow networks rely on the explicit construction of correlation volumes, which are expensive to compute and store, rendering them unsuitable for robotic applications with limited compute and energy budget. Moreover, correlation volumes scale poorly with resolution, prohibiting them from estimating high-resolution flow. We observe that the spatiotemporally continuous traces of events provide a natural search direction for seeking pixel correspondences, obviating the need to rely on gradients of explicit correlation volumes as such search directions. We introduce IDNet (Iterative Deblurring Network), a lightweight yet high-performing event-based optical flow network directly estimating flow from event traces without using correlation volumes. We further propose two iterative update schemes: "ID" which iterates over the same batch of events, and "TID" which iterates over time with streaming events in an online fashion. Our top-performing ID model sets a new state of the art on DSEC benchmark. Meanwhile, the base ID model is competitive with prior arts while using 80% fewer parameters, consuming 20x less memory footprint and running 40% faster on the NVidia Jetson Xavier NX. Furthermore, the TID model is even more efficient offering an additional 5x faster inference speed and 8 ms ultra-low latency at the cost of only a 9% performance drop, making it the only model among current literature capable of real-time operation while maintaining decent performance.
- Abstract（参考訳）: フレームベースの手法にインスパイアされた、最先端のイベントベースの光フローネットワークは、計算と保存に高価である相関ボリュームの明示的な構成に依存しており、計算とエネルギー予算が限られているロボットアプリケーションには適さない。
さらに、相関体積は分解能に乏しく、高分解能流れを推定することを禁じている。
事象の時空間的連続的なトレースは、画素対応を求めるための自然な探索方向を提供し、そのような探索方向のような明示的な相関ボリュームの勾配に依存する必要をなくすことを観察する。
相関ボリュームを使わずにイベントトレースからのフローを直接推定する軽量かつ高性能なイベントベース光フローネットワークIDNet(Iterative Deblurring Network)を導入する。
さらに、同じイベントのバッチを繰り返す"ID"と、オンラインの方法でストリーミングイベントを繰り返す"TID"という2つの反復的な更新スキームを提案する。
私たちの最高のIDモデルは、新しい最先端のDSECベンチマークを設定します。
一方、ベースIDモデルは、80%のパラメータを使用し、20倍のメモリフットプリントを消費し、NVidia Jetson Xavier NXで40%高速に動作しながら、先行技術と競合する。
さらに、TIDモデルは、9%の性能低下を犠牲にして、さらに5倍高速な推論速度と8ミリ秒超低レイテンシを提供することができる。
関連論文リスト
- LD-Pruner: Efficient Pruning of Latent Diffusion Models using Task-Agnostic Insights [2.8461446020965435]
本稿では,遅延拡散モデル圧縮のための新しい性能保存型構造化プルーニング手法であるLD-Prunerを紹介する。
我々は,テキスト・トゥ・イメージ(T2I)生成,無条件画像生成(UIG),無条件音声生成(UAG)の3つのタスクに対するアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-04-18T06:35:37Z) - Exploring Dynamic Transformer for Efficient Object Tracking [58.120191254379854]
効率的なトラッキングのための動的トランスフォーマーフレームワークであるDyTrackを提案する。
DyTrackは、様々な入力に対して適切な推論ルートを設定することを学習し、利用可能な計算予算をより活用する。
複数のベンチマークの実験では、DyTrackは単一のモデルで有望な速度精度のトレードオフを実現している。
論文 参考訳（メタデータ） (2024-03-26T12:31:58Z) - EfficientDM: Efficient Quantization-Aware Fine-Tuning of Low-Bit Diffusion Models [21.17675493267517]
ポストトレーニング量子化(PTQ)と量子化学習(QAT)は、拡散モデルを圧縮・加速する2つの主要なアプローチである。
我々は、PTQのような効率でQATレベルの性能を実現するために、EfficientDMと呼ばれる低ビット拡散モデルのためのデータフリーかつパラメータ効率の微調整フレームワークを導入する。
提案手法は, PTQに基づく拡散モデルにおいて, 同様の時間とデータ効率を保ちながら, 性能を著しく向上させる。
論文 参考訳（メタデータ） (2023-10-05T02:51:53Z) - DIFT: Dynamic Iterative Field Transforms for Memory Efficient Optical
Flow [44.57023882737517]
光フロー推定のための軽量低レイテンシ・メモリ効率モデルを提案する。
DIFTは、モバイル、XR、マイクロUAV、ロボティクス、カメラなどのエッジアプリケーションで実現可能である。
Snapdragon 8 Gen 1 HTPの効率的なモバイルAIアクセラレータ上で,最初のリアルタイムコストボリュームベースの光フローDLアーキテクチャを実演する。
論文 参考訳（メタデータ） (2023-06-09T06:10:59Z) - Taming Contrast Maximization for Learning Sequential, Low-latency,
Event-based Optical Flow [18.335337530059867]
イベントカメラは、複雑なコンピュータビジョン問題に対する低レイテンシで低消費電力のソリューションのための新しい道を開くことで、大きな注目を集めている。
これらのソリューションをアンロックするには、イベントデータのユニークな性質を活用するアルゴリズムを開発する必要がある。
本研究では,イベントベース光フロー推定のための自己教師付き学習パイプラインを提案する。
論文 参考訳（メタデータ） (2023-03-09T12:37:33Z) - Pushing the Limits of Asynchronous Graph-based Object Detection with
Event Cameras [62.70541164894224]
低計算を維持しながら、そのようなモデルの深さと複雑さを拡大できるアーキテクチャ選択をいくつか導入する。
我々の手法は、密度の高いグラフニューラルネットワークよりも3.7倍高速に動作し、前方通過はわずか8.4msである。
論文 参考訳（メタデータ） (2022-11-22T15:14:20Z) - AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。
AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
論文 参考訳（メタデータ） (2022-03-31T16:21:12Z) - Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume
Excitation [65.83008812026635]
本稿では,GCE ( Guided Cost Volume Excitation) を構築し,画像によって誘導されるコストボリュームの簡単なチャネル励磁により,性能が大幅に向上することを示す。
我々はCorrelate-and-Excite(CoEx)と呼ぶエンドツーエンドネットワークを提案する。
論文 参考訳（メタデータ） (2021-08-12T14:32:26Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳（メタデータ） (2021-03-08T03:09:37Z) - Reinforcement Learning with Latent Flow [78.74671595139613]
Flow of Latents for Reinforcement Learning (Flare)はRLのためのネットワークアーキテクチャであり、潜時ベクトル差分を通じて時間情報を明示的に符号化する。
本研究では,Frareが状態速度に明示的にアクセスすることなく,状態ベースRLの最適性能を回復することを示す。
我々はまた、FlareがDeepMindコントロールベンチマークスイート内のピクセルベースの挑戦的な連続制御タスクで最先端のパフォーマンスを達成することも示しています。
論文 参考訳（メタデータ） (2021-01-06T03:50:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。