論文の概要: PixelRNN: In-pixel Recurrent Neural Networks for End-to-end-optimized Perception with Neural Sensors

• arxiv url: http://arxiv.org/abs/2304.05440v1
• Date: Tue, 11 Apr 2023 18:16:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 17:02:47.313078
• Title: PixelRNN: In-pixel Recurrent Neural Networks for End-to-end-optimized Perception with Neural Sensors
• Title（参考訳）: PixelRNN: ニューラルネットワークを用いたエンドツーエンド最適化知覚のための画素内リカレントニューラルネットワーク
• Authors: Haley M. So, Laurie Bose, Piotr Dudek, and Gordon Wetzstein
• Abstract要約: 従来の画像センサは高速フレームレートで高解像度画像をデジタル化し、さらなる処理のためにセンサーから送信する必要がある大量のデータを生成する。 我々は、純粋なバイナリ演算を用いて、センサ上の時間的特徴を符号化する効率的なリカレントニューラルネットワークアーキテクチャ、PixelRNNの処理を開発する。 PixelRNNは、従来のシステムと比較して、センサから送信されるデータ量を64倍に削減し、手ジェスチャー認識や唇読解タスクの競合精度を提供する。
• 参考スコア（独自算出の注目度）: 42.18718773182277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional image sensors digitize high-resolution images at fast frame rates, producing a large amount of data that needs to be transmitted off the sensor for further processing. This is challenging for perception systems operating on edge devices, because communication is power inefficient and induces latency. Fueled by innovations in stacked image sensor fabrication, emerging sensor-processors offer programmability and minimal processing capabilities directly on the sensor. We exploit these capabilities by developing an efficient recurrent neural network architecture, PixelRNN, that encodes spatio-temporal features on the sensor using purely binary operations. PixelRNN reduces the amount of data to be transmitted off the sensor by a factor of 64x compared to conventional systems while offering competitive accuracy for hand gesture recognition and lip reading tasks. We experimentally validate PixelRNN using a prototype implementation on the SCAMP-5 sensor-processor platform.
• Abstract（参考訳）: 従来のイメージセンサーは高速フレームレートで高解像度画像をデジタル化し、さらなる処理のためにセンサーから送信する必要がある大量のデータを生成する。 これはエッジデバイスで動作する知覚システムでは、通信が非効率で遅延を引き起こすため、難しい。 積み重ねられたイメージセンサー製造の革新によって、新しいセンサープロセッサは、プログラマビリティと最小限の処理能力をセンサーに直接提供する。 我々はこれらの機能を、純粋なバイナリ操作を使用してセンサーに時空間機能をエンコードする効率的なリカレントニューラルネットワークアーキテクチャであるPixelRNNを開発することで活用する。 PixelRNNは、従来のシステムと比較して、センサから送信されるデータ量を64倍に削減し、手ジェスチャー認識や唇読解タスクの競合精度を提供する。 SCAMP-5センサプロセッサプラットフォーム上でのプロトタイプ実装を用いてPixelRNNを実験的に検証する。

関連論文リスト

• MSSIDD: A Benchmark for Multi-Sensor Denoising [55.41612200877861]
  我々は,マルチセンサSIDDデータセットという新しいベンチマークを導入する。これは,認知モデルのセンサ伝達性を評価するために設計された,最初の生ドメインデータセットである。 そこで本研究では,センサに不変な特徴を認知モデルで学習することのできるセンサ一貫性トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-18T13:32:59Z)
• Evetac: An Event-based Optical Tactile Sensor for Robotic Manipulation [20.713880984921385]
  Evetacはイベントベースの光学触覚センサーである。 タッチ処理アルゴリズムを開発し,その測定結果を1000Hzでオンラインで処理する。 Evetacの出力とマーカー追跡は、データ駆動スリップの検出と予測モデルを学ぶ上で有意義な機能を提供する。
  論文  参考訳（メタデータ） (2023-12-02T22:01:49Z)
• Speck: A Smart event-based Vision Sensor with a low latency 327K Neuron Convolutional Neuronal Network Processing Pipeline [5.8859061623552975]
  我々は、イベントベースのカメラと低消費電力非同期スパイク畳み込みニューラルネットワーク(sCNN)コンピューティングアーキテクチャを単一チップ上に組み込んだ、チップ上のスマートビジョンセンサシステム(SoC)を提案する。 センサと処理を1つのダイに組み合わせることで、ユニット生産コストを大幅に削減できる。 非同期アーキテクチャ、個々のブロック、およびsCNN処理原理と他のsCNN対応プロセッサに対するベンチマークを示す。
  論文  参考訳（メタデータ） (2023-04-13T19:28:57Z)
• Object Motion Sensitivity: A Bio-inspired Solution to the Ego-motion Problem for Event-based Cameras [0.0]
  我々は、CMOSイメージセンサ(IRIS)における第2世代のニューロモルフィック画像センサ、統合網膜機能について強調する。 IRISは、光受容体から網膜の出力への完全な網膜計算を模倣し、特徴抽出を目的とする。 この結果から,OMSは従来のRGBやDVSと同様の効率で標準的なコンピュータビジョンタスクを実現できるが,帯域幅の大幅な削減が期待できることがわかった。
  論文  参考訳（メタデータ） (2023-03-24T16:22:06Z)
• Image sensing with multilayer, nonlinear optical neural networks [4.252754174399026]
  新たなイメージセンシングパラダイムは、このデータ収集と分析の境界を破るものだ。 画像を効率よく分析するのに適した圧縮された低次元の潜伏空間に光学的に符号化することで、これらの画像センサは少ないピクセルと少ない光子で動作することができる。 商用画像強調器を並列光電子・光・光の非線形活性化機能として用いた画像センシング用多層ONNプリプロセッサを実演する。
  論文  参考訳（メタデータ） (2022-07-27T21:00:31Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• CNN-based Omnidirectional Object Detection for HermesBot Autonomous Delivery Robot with Preliminary Frame Classification [53.56290185900837]
  予備的バイナリフレーム分類を用いた物体検出のためのニューラルネットワークの最適化アルゴリズムを提案する。 周囲に6台のローリングシャッターカメラを備えた自律移動ロボットを360度視野として実験装置として使用した。
  論文  参考訳（メタデータ） (2021-10-22T15:05:37Z)
• Small Lesion Segmentation in Brain MRIs with Subpixel Embedding [105.1223735549524]
  ヒト脳のMRIスキャンを虚血性脳梗塞と正常組織に分割する方法を提案する。 本稿では,空間展開埋め込みネットワークによって予測を導出する標準エンコーダデコーダの形式でニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-09-18T00:21:17Z)
• AnalogNet: Convolutional Neural Network Inference on Analog Focal Plane Sensor Processors [0.0]
  アナログ平面センサプロセッサ(FPSP)と呼ばれるユニークな種類のデバイスの性能を利用した高速でエネルギー効率の良い畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。 センサアレイが収集したデータを別のプロセッサに送信して処理する従来のビジョンシステムとは異なり、FPSPは撮像装置自体でデータを処理できる。 提案するアーキテクチャはAnalogNetと呼ばれ,MNISTの手書き文字認識タスクにおいて,1フレームあたり0.7mJの速度で96.9%の精度で動作可能である。
  論文  参考訳（メタデータ） (2020-06-02T16:44:43Z)
• Learning Camera Miscalibration Detection [83.38916296044394]
  本稿では,視覚センサ,特にRGBカメラの誤校正検出を学習するためのデータ駆動型アプローチに焦点を当てた。 コントリビューションには、RGBカメラの誤校正基準と、この基準に基づく新しい半合成データセット生成パイプラインが含まれる。 深層畳み込みニューラルネットワークをトレーニングすることにより、カメラ固有のパラメータの再校正が必要か否かを判断するパイプラインの有効性を実証する。
  論文  参考訳（メタデータ） (2020-05-24T10:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。