論文の概要: NeuFlow: Real-time, High-accuracy Optical Flow Estimation on Robots Using Edge Devices

• arxiv url: http://arxiv.org/abs/2403.10425v1
• Date: Fri, 15 Mar 2024 15:58:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 16:21:13.797178
• Title: NeuFlow: Real-time, High-accuracy Optical Flow Estimation on Robots Using Edge Devices
• Title（参考訳）: NeuFlow:エッジデバイスを用いたロボットのリアルタイム高精度光フロー推定
• Authors: Zhiyong Zhang, Huaizu Jiang, Hanumant Singh,
• Abstract要約: リアルタイムの高精度光フロー推定は,様々な応用において重要な要素である。 我々は,高精度かつ計算コストの懸念に対処する,高速な光フローアーキテクチャであるNeuFlowを提案する。 当社のアプローチはエッジコンピューティングプラットフォーム上で約30FPSを実現しており、複雑なコンピュータビジョンタスクのデプロイにおいて大きなブレークスルーをもたらしている。
• 参考スコア（独自算出の注目度）: 6.470511497023878
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-time high-accuracy optical flow estimation is a crucial component in various applications, including localization and mapping in robotics, object tracking, and activity recognition in computer vision. While recent learning-based optical flow methods have achieved high accuracy, they often come with heavy computation costs. In this paper, we propose a highly efficient optical flow architecture, called NeuFlow, that addresses both high accuracy and computational cost concerns. The architecture follows a global-to-local scheme. Given the features of the input images extracted at different spatial resolutions, global matching is employed to estimate an initial optical flow on the 1/16 resolution, capturing large displacement, which is then refined on the 1/8 resolution with lightweight CNN layers for better accuracy. We evaluate our approach on Jetson Orin Nano and RTX 2080 to demonstrate efficiency improvements across different computing platforms. We achieve a notable 10x-80x speedup compared to several state-of-the-art methods, while maintaining comparable accuracy. Our approach achieves around 30 FPS on edge computing platforms, which represents a significant breakthrough in deploying complex computer vision tasks such as SLAM on small robots like drones. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow.
• Abstract（参考訳）: リアルタイムの高精度光フロー推定は、ロボット工学におけるローカライゼーションやマッピング、物体追跡、コンピュータビジョンにおけるアクティビティ認識など、様々なアプリケーションにおいて重要な要素である。 最近の学習ベース光学フロー法は精度が高いが、計算コストが重い場合が多い。 本稿では,高精度・計算コストの両面に対処する,高速な光フローアーキテクチャであるNeuFlowを提案する。 アーキテクチャはグローバルからローカルへのスキームに従っている。 異なる空間分解能で抽出された入力画像の特徴を考慮し、グローバルマッチングを用いて1/16分解能で初期光学フローを推定し、大きな変位を捉え、1/8分解能でより高精度なCNN層で精製する。 我々は,Jetson Orin Nano と RTX 2080 のアプローチを評価し,コンピューティングプラットフォーム間の効率改善を実証した。 我々は、いくつかの最先端手法と比較して10x-80xの高速化を実現し、精度は同等である。 当社のアプローチはエッジコンピューティングプラットフォーム上で約30FPSを実現しており、SLAMのような複雑なコンピュータビジョンタスクをドローンのような小型ロボットに展開する上で大きなブレークスルーとなる。 完全なトレーニングと評価のコードはhttps://github.com/neufieldrobotics/NeuFlowで公開されている。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• NeuFlow v2: High-Efficiency Optical Flow Estimation on Edge Devices [6.157420789049589]
  計算要求の低減と高い精度のバランスをとる高効率光フロー法を提案する。 より軽量なバックボーンや高速リファインメントモジュールなど,新たなコンポーネントを導入しています。 我々のモデルでは,合成データと実世界のデータの両方で同等の性能を維持しながら,10倍-70倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-08-19T17:13:34Z)
• Efficient Single Object Detection on Image Patches with Early Exit Enhanced High-Precision CNNs [0.0]
  本稿では,RoboCup Standard Platform Leagueの文脈における移動ロボットを用いた物体検出手法を提案する。 この課題は、様々な照明条件と高速な動きによって引き起こされるぼやけた画像において、ダイナミックな物体を検出することである。 この課題に対処するために,計算に制約のあるロボットプラットフォーム用に設計された畳み込みニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-09-07T07:23:55Z)
• Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
  ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。 既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。 WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
  論文  参考訳（メタデータ） (2023-09-07T06:41:15Z)
• Towards High-Frequency Tracking and Fast Edge-Aware Optimization [2.2662585107579165]
  この論文は、AR/VRトラッキングシステムのトラッキング周波数を桁違いに増加させることにより、AR/VRトラッキングシステムの最先端技術である。 エッジ認識最適化問題に対する効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-02T01:20:34Z)
• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• Deep Learning for Real Time Satellite Pose Estimation on Low Power Edge TPU [58.720142291102135]
  本稿では,ニューラルネットワークアーキテクチャを利用したポーズ推定ソフトウェアを提案する。 我々は、低消費電力の機械学習アクセラレーターが宇宙での人工知能の活用を可能にしていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T08:53:18Z)
• Dense Optical Flow from Event Cameras [55.79329250951028]
  本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。 提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
  論文  参考訳（メタデータ） (2021-08-24T07:39:08Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)
• Lightweight Convolutional Neural Network with Gaussian-based Grasping Representation for Robotic Grasping Detection [4.683939045230724]
  現在の物体検出器は、高い精度と高速な推論速度のバランスを取るのが難しい。 ロボットつかみポーズ推定を行うための効率的かつ堅牢な完全畳み込みニューラルネットワークモデルを提案する。 ネットワークは、他の優れたアルゴリズムよりも桁違いに小さい順序です。
  論文  参考訳（メタデータ） (2021-01-25T16:36:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。