Fugu-MT 論文翻訳(概要): Predictive Temporal Attention on Event-based Video Stream for Energy-efficient Situation Awareness

論文の概要: Predictive Temporal Attention on Event-based Video Stream for Energy-efficient Situation Awareness

arxiv url: http://arxiv.org/abs/2402.08936v1
Date: Wed, 14 Feb 2024 04:34:48 GMT
ステータス: 処理完了
システム内更新日: 2024-02-15 16:56:19.196617
Title: Predictive Temporal Attention on Event-based Video Stream for Energy-efficient Situation Awareness
Title（参考訳）: エネルギー効率のよい状況認識のためのイベント型ビデオストリームの予測時間的注意
Authors: Yiming Bu, Jiayang Liu, Qinru Qiu
Abstract要約: 本稿では,視覚事象を適切に予測できない場合にのみ,カメラ出力を減速させ,注意を払うための時間的注意機構を提案する。本研究では,カメラとプロセッサ間のデータ通信の46.7%を削減し,プロセッサの43.8%を削減できることを示す。
参考スコア（独自算出の注目度）: 5.541459858161597
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The Dynamic Vision Sensor (DVS) is an innovative technology that efficiently captures and encodes visual information in an event-driven manner. By combining it with event-driven neuromorphic processing, the sparsity in DVS camera output can result in high energy efficiency. However, similar to many embedded systems, the off-chip communication between the camera and processor presents a bottleneck in terms of power consumption. Inspired by the predictive coding model and expectation suppression phenomenon found in human brain, we propose a temporal attention mechanism to throttle the camera output and pay attention to it only when the visual events cannot be well predicted. The predictive attention not only reduces power consumption in the sensor-processor interface but also effectively decreases the computational workload by filtering out noisy events. We demonstrate that the predictive attention can reduce 46.7% of data communication between the camera and the processor and reduce 43.8% computation activities in the processor.
Abstract（参考訳）: Dynamic Vision Sensor (DVS)は、イベント駆動方式で視覚情報を効率的にキャプチャしてエンコードする革新的な技術である。イベント駆動型ニューロモルフィック処理と組み合わせることで、DVSカメラ出力の空間性は高いエネルギー効率をもたらす。しかし、多くの組み込みシステムと同様に、カメラとプロセッサ間のオフチップ通信は消費電力の面でボトルネックとなっている。人間の脳にみられる予測符号化モデルと予測抑制現象に着想を得て,視覚事象を適切に予測できない場合にのみカメラ出力を絞り,注意を払うための時間的注意機構を提案する。予測注意は、センサプロセッサインタフェースの消費電力を減少させるだけでなく、ノイズイベントをフィルタリングして計算ワークロードを効果的に減少させる。本研究では,カメラとプロセッサ間のデータ通信の46.7%を削減し,プロセッサの43.8%を削減できることを示す。

関連論文リスト

Integration of Communication and Computational Imaging [49.2442836992307]
遠隔認識のためのコミュニケーション・計算画像(ICCI)を統合した新しいフレームワークを提案する。 ICCIフレームワークは、情報ソースの生成から最終ビジョンタスクの実行までの情報損失を最小限に抑えるために、全リンク情報転送最適化を行う。 80km27バンドのハイパースペクトル映像の知覚速度は30fpsである。
論文参考訳（メタデータ） (2024-10-25T09:19:59Z)
Low Latency Visual Inertial Odometry with On-Sensor Accelerated Optical Flow for Resource-Constrained UAVs [13.037162115493393]
オンセンサーハードウェアアクセラレーションは、低遅延視覚慣性オドメトリー(VIO)を実現するための有望なアプローチである本稿では,グローバルシャッターカメラとアプリケーション固有集積回路(ASIC)を組み合わせたコンパクトなOFセンサを利用したVIOセンサシステムの高速化について検討する。 VINS-Monoパイプラインの機能追跡ロジックをこのOFカメラのデータに置き換えることで、49.4%のレイテンシの削減と、元のVINS-Mono実装よりも53.7%の計算負荷の削減を実証した。
論文参考訳（メタデータ） (2024-06-19T08:51:19Z)
A motion-based compression algorithm for resource-constrained video camera traps [4.349838917565205]
本稿では,カメラトラップに特化して設計された動き解析に基づくビデオ圧縮アルゴリズムを提案する。このアルゴリズムは、受粉監視に関連する動きを描写した画像領域のみを特定し、記憶する。本実験は,昆虫行動解析における重要な情報を保存するアルゴリズムの能力を実証するものである。
論文参考訳（メタデータ） (2024-05-23T10:39:33Z)
Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
論文参考訳（メタデータ） (2024-04-15T09:33:09Z)
Low-power event-based face detection with asynchronous neuromorphic hardware [2.0774873363739985]
本稿では、SynSense Speckニューロモルフィックチップ上に展開されたイベントベースの顔検出のためのオンチップスパイクニューラルネットワークの最初の例を示す。トレーニングに用いるオフチップクロック駆動シミュレーションとオンチップイベント駆動推論との精度の相違について述べる。オンチップ顔検出のmAP[0.5]は0.6で、20mWしか消費しない。
論文参考訳（メタデータ） (2023-12-21T19:23:02Z)
Pushing the Limits of Asynchronous Graph-based Object Detection with Event Cameras [62.70541164894224]
低計算を維持しながら、そのようなモデルの深さと複雑さを拡大できるアーキテクチャ選択をいくつか導入する。我々の手法は、密度の高いグラフニューラルネットワークよりも3.7倍高速に動作し、前方通過はわずか8.4msである。
論文参考訳（メタデータ） (2022-11-22T15:14:20Z)
MSS-DepthNet: Depth Prediction with Multi-Step Spiking Neural Network [8.53512216864715]
スパイキングニューラルネットワークは、イベントカメラタスクの処理に適していると考えられる、新しいイベントベースの計算パラダイムである。この研究は、新しい残差ブロックと多次元アテンションモジュールを組み合わせたスパイクニューラルネットワークアーキテクチャを提案する。このモデルはMVSECデータセットで同じ大きさのANNネットワークより優れており、計算効率が高い。
論文参考訳（メタデータ） (2022-11-22T10:35:36Z)
ETAD: A Unified Framework for Efficient Temporal Action Detection [70.21104995731085]
時間的行動検出(TAD)のようなトリミングされていないビデオ理解は、しばしば計算資源に対する膨大な需要の苦痛に悩まされる。我々は、効率的なエンド・ツー・エンドの時間的行動検出(ETAD)のための統合されたフレームワークを構築している。 ETADはTHUMOS-14とActivityNet-1.3の両方で最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2022-05-14T21:16:21Z)
Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。イベントベースビジュアル・オドメトリー(VO)に焦点をあてる動作最適化のバックエンドとして非同期構造を提案する。
論文参考訳（メタデータ） (2022-03-02T11:28:47Z)
BottleFit: Learning Compressed Representations in Deep Neural Networks for Effective and Efficient Split Computing [48.11023234245863]
圧縮速度が強い場合でも高い精度を達成するための新しいトレーニング戦略を含む,BottleFitと呼ばれる新しいフレームワークを提案する。 BottleFitは77.1%のデータ圧縮を実現し、ImageNetデータセットでは最大で0.6%の精度でロスする。本稿では,BottleFitが消費電力とレイテンシを最大で49%,(w.r.t.)ローカルコンピューティングでは89%,エッジオフロードでは37%,W.r.t.エッジオフロードでは55%削減することを示した。
論文参考訳（メタデータ） (2022-01-07T22:08:07Z)
Spike-FlowNet: Event-based Optical Flow Estimation with Energy-Efficient Hybrid Neural Networks [40.44712305614071]
本稿では,SNNとANNを統合したディープハイブリッドニューラルネットワークアーキテクチャであるSpike-FlowNetを提案する。このネットワークは、MVSEC(Multi-Vehicle Stereo Event Camera)データセット上で、セルフ教師付き学習でエンドツーエンドにトレーニングされている。
論文参考訳（メタデータ） (2020-03-14T20:37:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。