論文の概要: P2M: A Processing-in-Pixel-in-Memory Paradigm for Resource-Constrained
TinyML Applications
- arxiv url: http://arxiv.org/abs/2203.04737v1
- Date: Mon, 7 Mar 2022 04:15:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-12 04:59:46.693076
- Title: P2M: A Processing-in-Pixel-in-Memory Paradigm for Resource-Constrained
TinyML Applications
- Title（参考訳）: P2M:リソース制約されたTinyMLアプリケーションのためのメモリ内処理パラダイム
- Authors: Gourav Datta, Souvik Kundu, Zihan Yin, Ravi Teja Lakkireddy, Peter A.
Beerel, Ajey Jacob, Akhilesh R. Jaiswal
- Abstract要約: 高い解像度の入力画像は、カメラとAI処理ユニットの間でフレームごとにストリームされ、エネルギー、帯域幅、セキュリティボトルネックを引き起こす必要がある。
本稿では,アナログマルチチャネル,マルチビット畳み込み,ReLUのサポートを追加して画素配列をカスタマイズする,新しいProcessing-in-Pixel-in-Memory(P2M)パラダイムを提案する。
以上の結果から,P2Mはセンサやアナログからデジタル変換へのデータ転送帯域を21倍に削減し,TinyML上でMobileNetV2モデルを処理する際に発生するエネルギ遅延生成物(EDP)が得られた。
- 参考スコア（独自算出の注目度）: 4.102356304183255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The demand to process vast amounts of data generated from state-of-the-art
high resolution cameras has motivated novel energy-efficient on-device AI
solutions. Visual data in such cameras are usually captured in the form of
analog voltages by a sensor pixel array, and then converted to the digital
domain for subsequent AI processing using analog-to-digital converters (ADC).
Recent research has tried to take advantage of massively parallel low-power
analog/digital computing in the form of near- and in-sensor processing, in
which the AI computation is performed partly in the periphery of the pixel
array and partly in a separate on-board CPU/accelerator. Unfortunately,
high-resolution input images still need to be streamed between the camera and
the AI processing unit, frame by frame, causing energy, bandwidth, and security
bottlenecks. To mitigate this problem, we propose a novel
Processing-in-Pixel-in-memory (P2M) paradigm, that customizes the pixel array
by adding support for analog multi-channel, multi-bit convolution and ReLU
(Rectified Linear Units). Our solution includes a holistic algorithm-circuit
co-design approach and the resulting P2M paradigm can be used as a drop-in
replacement for embedding memory-intensive first few layers of convolutional
neural network (CNN) models within foundry-manufacturable CMOS image sensor
platforms. Our experimental results indicate that P2M reduces data transfer
bandwidth from sensors and analog to digital conversions by ~21x, and the
energy-delay product (EDP) incurred in processing a MobileNetV2 model on a
TinyML use case for visual wake words dataset (VWW) by up to ~11x compared to
standard near-processing or in-sensor implementations, without any significant
drop in test accuracy.
- Abstract（参考訳）: 最先端の高解像度カメラから生成される膨大なデータを処理したいという要求は、新しいエネルギー効率のオンデバイスAIソリューションを動機付けている。
このようなカメラの視覚データは、通常、センサーピクセルアレイによってアナログ電圧の形でキャプチャされ、アナログからデジタルへのコンバータ(ADC)を使用してその後のAI処理のためにデジタルドメインに変換される。
近年の研究では、近距離およびインセンサ処理という形で、AI計算を部分的に画素アレイの周辺で、一部はオンボードCPU/アクセラレータで行うという、非常に並列な低消費電力アナログ/デジタルコンピューティングの活用が試みられている。
残念ながら、高解像度の入力画像は、カメラとAI処理ユニットの間でフレームごとにストリームされ、エネルギー、帯域幅、セキュリティボトルネックを引き起こす必要がある。
この問題を軽減するために,アナログマルチチャネル,マルチビット畳み込み,ReLU(Rectified Linear Units)のサポートを追加して,画素配列をカスタマイズする新しいProcessing-in-Pixel-in-Memory(P2M)パラダイムを提案する。
我々のソリューションは、全体論的アルゴリズム-回路共設計アプローチを含み、結果として生じるP2Mパラダイムは、ファウンデーリ-製造可能なCMOSイメージセンサプラットフォーム内に、メモリ集約型の最初の数層の畳み込みニューラルネットワーク(CNN)モデルを埋め込むためのドロップイン代替として使用できる。
実験の結果,P2M はセンサやアナログからデジタル変換へのデータ転送帯域を ~21倍削減し,VWW の TinyML ユースケースにおける MobileNetV2 モデル処理時に発生するエネルギ遅延生成物 (EDP) を,通常の近接処理やインセンサ実装と比較して ~11倍削減できることがわかった。
関連論文リスト
- Digital-analog hybrid matrix multiplication processor for optical neural
networks [11.171425574890765]
光ニューラルネットワーク(ONN)のためのディジタルアナログハイブリッド光コンピューティングアーキテクチャを提案する。
しきい値に基づく論理レベルと決定を導入することにより、計算精度を大幅に向上させることができる。
画素誤り率(PER)は18.2dBの信号対雑音比(SNR)で1.8times10-3$以下である。
論文 参考訳（メタデータ） (2024-01-26T18:42:57Z) - Video Frame Interpolation with Many-to-many Splatting and Spatial
Selective Refinement [83.60486465697318]
本稿では,フレームを効率的に補間するM2Mスプレイティングフレームワークを提案する。
入力フレームペアごとに、M2Mは任意の数のフレーム間を補間する際の計算オーバーヘッドが極小である。
フレキシブルな空間選択リファインメント(Spatial Selective Refinement)コンポーネントを導入して,M2M++フレームワークを拡張した。
論文 参考訳（メタデータ） (2023-10-29T09:09:32Z) - Pixel-Inconsistency Modeling for Image Manipulation Localization [63.54342601757723]
デジタル画像法医学は、画像認証と操作のローカライゼーションにおいて重要な役割を果たす。
本稿では,画素不整合アーチファクトの解析を通じて,一般化されたロバストな操作ローカライゼーションモデルを提案する。
実験により,本手法は固有の画素不整合偽指紋を抽出することに成功した。
論文 参考訳（メタデータ） (2023-09-30T02:54:51Z) - Improving Pixel-based MIM by Reducing Wasted Modeling Capability [77.99468514275185]
浅い層から低レベルの特徴を明示的に利用して画素再構成を支援する手法を提案する。
私たちの知る限りでは、等方的アーキテクチャのためのマルチレベル特徴融合を体系的に研究するのは、私たちは初めてです。
提案手法は, 微調整では1.2%, 線形探索では2.8%, セマンティックセグメンテーションでは2.6%など, 大幅な性能向上をもたらす。
論文 参考訳（メタデータ） (2023-08-01T03:44:56Z) - Super-Resolution of License Plate Images Using Attention Modules and
Sub-Pixel Convolution Layers [3.8831062015253055]
監視画像における構造的特徴およびテクスチャ的特徴の検出を強化するために,Single-Image Super-Resolution (SISR) アプローチを導入する。
提案手法は,サブピクセルの畳み込み層と,光学的文字認識(OCR)モデルを用いて特徴抽出を行うロス関数を含む。
以上の結果から, これらの低解像度合成画像の再構成手法は, 定量化と定性化の両面で, 既存の画像よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2023-05-27T00:17:19Z) - Spatially-Adaptive Feature Modulation for Efficient Image
Super-Resolution [90.16462805389943]
視覚変換器(ViT)のようなブロック上に,空間適応型特徴変調(SAFM)機構を開発する。
提案法は最先端のSR法よりも3倍程度小さい。
論文 参考訳（メタデータ） (2023-02-27T14:19:31Z) - Toward Efficient Hyperspectral Image Processing inside Camera Pixels [1.6449390849183356]
ハイパースペクトルカメラは、数百のスペクトル帯が存在するため、大量のデータを生成する。
この問題を軽減するために,PIP (Processing-in-Pixel) 形式を提案する。
我々のPIP最適化カスタムCNN層は、入力データを効果的に圧縮し、データをHSI処理ユニットに送信するために必要な帯域幅を大幅に削減する。
論文 参考訳（メタデータ） (2022-03-11T01:06:02Z) - Parallel Discrete Convolutions on Adaptive Particle Representations of
Images [2.362412515574206]
適応粒子表現上の離散畳み込み演算子のネイティブ実装のためのデータ構造とアルゴリズムを提案する。
APRは、サンプリング解像度を画像信号に局所的に適応するコンテンツ適応型画像表現である。
APRの畳み込みは、マルチコアCPUとGPUアーキテクチャを効率的に並列化するスケール適応アルゴリズムを自然に導くことを示す。
論文 参考訳（メタデータ） (2021-12-07T09:40:05Z) - Small Lesion Segmentation in Brain MRIs with Subpixel Embedding [105.1223735549524]
ヒト脳のMRIスキャンを虚血性脳梗塞と正常組織に分割する方法を提案する。
本稿では,空間展開埋め込みネットワークによって予測を導出する標準エンコーダデコーダの形式でニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-09-18T00:21:17Z) - Generating Superpixels for High-resolution Images with Decoupled Patch
Calibration [82.21559299694555]
Patch Networks (PCNet) は高解像度のスーパーピクセルセグメンテーションを効率的かつ正確に実装するように設計されている。
DPCは高解像度画像から局所パッチを取得し、動的にバイナリマスクを生成し、ネットワークを領域境界に集中させる。
特に、DPCは高解像度画像からローカルパッチを取り、動的にバイナリマスクを生成して、ネットワークを領域境界に集中させる。
論文 参考訳（メタデータ） (2021-08-19T10:33:05Z) - Fully Embedding Fast Convolutional Networks on Pixel Processor Arrays [16.531637803429277]
本稿では,PPA(Pixel processor array)視覚センサのための新しいCNN推論手法を提案する。
提案手法は, 畳み込み層, 最大プーリング, ReLu, およびPPAセンサ上に完全に接続された最終層を実現する。
これは、外部処理を必要としないPPA視覚センサデバイスのプロセッサアレイで完全に行われたCNN推論を示す最初の研究である。
論文 参考訳（メタデータ） (2020-04-27T01:00:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。