論文の概要: Fully Embedding Fast Convolutional Networks on Pixel Processor Arrays
- arxiv url: http://arxiv.org/abs/2004.12525v1
- Date: Mon, 27 Apr 2020 01:00:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 05:31:20.197820
- Title: Fully Embedding Fast Convolutional Networks on Pixel Processor Arrays
- Title(参考訳): ピクセルプロセッサアレイ上の高速畳み込みネットワークの完全埋め込み
- Authors: Laurie Bose, Jianing Chen, Stephen J. Carey, Piotr Dudek, Walterio
Mayol-Cuevas
- Abstract要約: 本稿では,PPA(Pixel processor array)視覚センサのための新しいCNN推論手法を提案する。
提案手法は, 畳み込み層, 最大プーリング, ReLu, およびPPAセンサ上に完全に接続された最終層を実現する。
これは、外部処理を必要としないPPA視覚センサデバイスのプロセッサアレイで完全に行われたCNN推論を示す最初の研究である。
- 参考スコア(独自算出の注目度): 16.531637803429277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel method of CNN inference for pixel processor array (PPA)
vision sensors, designed to take advantage of their massive parallelism and
analog compute capabilities. PPA sensors consist of an array of processing
elements (PEs), with each PE capable of light capture, data storage and
computation, allowing various computer vision processing to be executed
directly upon the sensor device. The key idea behind our approach is storing
network weights "in-pixel" within the PEs of the PPA sensor itself to allow
various computations, such as multiple different image convolutions, to be
carried out in parallel. Our approach can perform convolutional layers, max
pooling, ReLu, and a final fully connected layer entirely upon the PPA sensor,
while leaving no untapped computational resources. This is in contrast to
previous works that only use a sensor-level processing to sequentially compute
image convolutions, and must transfer data to an external digital processor to
complete the computation. We demonstrate our approach on the SCAMP-5 vision
system, performing inference of a MNIST digit classification network at over
3000 frames per second and over 93% classification accuracy. This is the first
work demonstrating CNN inference conducted entirely upon the processor array of
a PPA vision sensor device, requiring no external processing.
- Abstract(参考訳): 本稿では,PPA(Pixel processor array)視覚センサのCNN推論手法を提案する。
PPAセンサーは一連の処理要素(PE)で構成され、各PEは光キャプチャ、データストレージ、計算が可能で、様々なコンピュータビジョン処理をセンサーデバイスに直接実行することができる。
このアプローチの背景にある重要な考え方は、PPAセンサ自体のPE内にネットワーク重みを「ピクセル内」に格納し、複数の異なる画像畳み込みなどの様々な計算を並列に実行できるようにすることである。
提案手法では, 最大プール, ReLu などの畳み込み層と, PPA センサ上に完全に完全に接続された最終層を動作させることができる。
これは、センサレベルの処理だけで画像畳み込みを逐次計算し、データを外部のデジタルプロセッサに転送し、計算を完了するという以前の研究とは対照的である。
提案手法はSCAMP-5ビジョンシステムにおいて,MNIST桁分類網を毎秒3000フレーム以上,93%以上の分類精度で推定する手法である。
これは、外部処理を必要としないPPA視覚センサデバイスのプロセッサアレイで完全に行われたCNN推論を示す最初の研究である。
関連論文リスト
- Differentiable Registration of Images and LiDAR Point Clouds with
VoxelPoint-to-Pixel Matching [58.10418136917358]
カメラからの2D画像とLiDARからの3Dポイントクラウドの間のクロスモダリティ登録は、コンピュータビジョンとロボットトレーニングにおいて重要な課題である。
ニューラルネットワークで学習した点パターンと画素パターンのマッチングによる2次元3次元対応の推定
我々は、異なる潜在画素空間を介して3次元特徴を表現するために、構造化されたモダリティマッチングソルバを学習する。
論文 参考訳(メタデータ) (2023-12-07T05:46:10Z) - PixelRNN: In-pixel Recurrent Neural Networks for End-to-end-optimized
Perception with Neural Sensors [42.18718773182277]
従来の画像センサは高速フレームレートで高解像度画像をデジタル化し、さらなる処理のためにセンサーから送信する必要がある大量のデータを生成する。
我々は、純粋なバイナリ演算を用いて、センサ上の時間的特徴を符号化する効率的なリカレントニューラルネットワークアーキテクチャ、PixelRNNの処理を開発する。
PixelRNNは、従来のシステムと比較して、センサから送信されるデータ量を64倍に削減し、手ジェスチャー認識や唇読解タスクの競合精度を提供する。
論文 参考訳(メタデータ) (2023-04-11T18:16:47Z) - Single-Shot Optical Neural Network [55.41644538483948]
深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。
我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
論文 参考訳(メタデータ) (2022-05-18T17:49:49Z) - Toward Efficient Hyperspectral Image Processing inside Camera Pixels [1.6449390849183356]
ハイパースペクトルカメラは、数百のスペクトル帯が存在するため、大量のデータを生成する。
この問題を軽減するために,PIP (Processing-in-Pixel) 形式を提案する。
我々のPIP最適化カスタムCNN層は、入力データを効果的に圧縮し、データをHSI処理ユニットに送信するために必要な帯域幅を大幅に削減する。
論文 参考訳(メタデータ) (2022-03-11T01:06:02Z) - P2M: A Processing-in-Pixel-in-Memory Paradigm for Resource-Constrained
TinyML Applications [4.102356304183255]
高い解像度の入力画像は、カメラとAI処理ユニットの間でフレームごとにストリームされ、エネルギー、帯域幅、セキュリティボトルネックを引き起こす必要がある。
本稿では,アナログマルチチャネル,マルチビット畳み込み,ReLUのサポートを追加して画素配列をカスタマイズする,新しいProcessing-in-Pixel-in-Memory(P2M)パラダイムを提案する。
以上の結果から,P2Mはセンサやアナログからデジタル変換へのデータ転送帯域を21倍に削減し,TinyML上でMobileNetV2モデルを処理する際に発生するエネルギ遅延生成物(EDP)が得られた。
論文 参考訳(メタデータ) (2022-03-07T04:15:29Z) - On-Sensor Binarized Fully Convolutional Neural Network with A Pixel
Processor Array [17.4097919720973]
本研究では,Pixel Processor Array (PPA)センサに完全畳み込みニューラルネットワーク(FCN)を実装する手法を提案する。
本稿では,二項重みとアクティベーションの両立のための二項化FCNを,バッチノルム,グループ畳み込み,二項化のための学習しきい値を用いて設計し,訓練する。
PPAデバイス上でFCNを最初に実装し、ピクセルレベルのプロセッサで3つの畳み込み層を実行する。
論文 参考訳(メタデータ) (2022-02-02T01:18:40Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Small Lesion Segmentation in Brain MRIs with Subpixel Embedding [105.1223735549524]
ヒト脳のMRIスキャンを虚血性脳梗塞と正常組織に分割する方法を提案する。
本稿では,空間展開埋め込みネットワークによって予測を導出する標準エンコーダデコーダの形式でニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-09-18T00:21:17Z) - Visual Transformers: Token-based Image Representation and Processing for
Computer Vision [67.55770209540306]
Visual Transformer (VT) はセマンティックトークン空間で動作し、コンテキストに基づいて異なる画像部品に任意に参加する。
高度なトレーニングレシピを使うことで、私たちのVTは畳み込みよりも大幅に優れています。
LIPとCOCO-stuffのセマンティックセグメンテーションでは、VTベースの特徴ピラミッドネットワーク(FPN)は、FPNモジュールのFLOPを6.5倍減らしながら、mIoUの0.35ポイントを達成している。
論文 参考訳(メタデータ) (2020-06-05T20:49:49Z) - AnalogNet: Convolutional Neural Network Inference on Analog Focal Plane
Sensor Processors [0.0]
アナログ平面センサプロセッサ(FPSP)と呼ばれるユニークな種類のデバイスの性能を利用した高速でエネルギー効率の良い畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。
センサアレイが収集したデータを別のプロセッサに送信して処理する従来のビジョンシステムとは異なり、FPSPは撮像装置自体でデータを処理できる。
提案するアーキテクチャはAnalogNetと呼ばれ,MNISTの手書き文字認識タスクにおいて,1フレームあたり0.7mJの速度で96.9%の精度で動作可能である。
論文 参考訳(メタデータ) (2020-06-02T16:44:43Z) - Near-chip Dynamic Vision Filtering for Low-Bandwidth Pedestrian
Detection [99.94079901071163]
本稿では、ダイナミックビジョンセンサ(DVS)を用いた歩行者検出のための新しいエンドツーエンドシステムを提案する。
我々は、複数のセンサがローカル処理ユニットにデータを送信し、検出アルゴリズムを実行するアプリケーションをターゲットにしている。
我々の検出器は450ミリ秒毎に検出を行うことができ、総合的なテストF1スコアは83%である。
論文 参考訳(メタデータ) (2020-04-03T17:36:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。