論文の概要: Toward Efficient Hyperspectral Image Processing inside Camera Pixels
- arxiv url: http://arxiv.org/abs/2203.05696v1
- Date: Fri, 11 Mar 2022 01:06:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-14 20:35:48.216058
- Title: Toward Efficient Hyperspectral Image Processing inside Camera Pixels
- Title（参考訳）: カメラカメラ内ハイパースペクトル画像処理の効率化に向けて
- Authors: Gourav Datta, Zihan Yin, Ajey Jacob, Akhilesh R. Jaiswal, Peter A.
Beerel
- Abstract要約: ハイパースペクトルカメラは、数百のスペクトル帯が存在するため、大量のデータを生成する。
この問題を軽減するために,PIP (Processing-in-Pixel) 形式を提案する。
我々のPIP最適化カスタムCNN層は、入力データを効果的に圧縮し、データをHSI処理ユニットに送信するために必要な帯域幅を大幅に削減する。
- 参考スコア（独自算出の注目度）: 1.6449390849183356
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hyperspectral cameras generate a large amount of data due to the presence of
hundreds of spectral bands as opposed to only three channels (red, green, and
blue) in traditional cameras. This requires a significant amount of data
transmission between the hyperspectral image sensor and a processor used to
classify/detect/track the images, frame by frame, expending high energy and
causing bandwidth and security bottlenecks. To mitigate this problem, we
propose a form of processing-in-pixel (PIP) that leverages advanced CMOS
technologies to enable the pixel array to perform a wide range of complex
operations required by the modern convolutional neural networks (CNN) for
hyperspectral image recognition (HSI). Consequently, our PIP-optimized custom
CNN layers effectively compress the input data, significantly reducing the
bandwidth required to transmit the data downstream to the HSI processing unit.
This reduces the average energy consumption associated with pixel array of
cameras and the CNN processing unit by 25.06x and 3.90x respectively, compared
to existing hardware implementations. Our custom models yield average test
accuracies within 0.56% of the baseline models for the standard HSI benchmarks.
- Abstract（参考訳）: ハイパースペクトルカメラは、従来のカメラでは3つのチャンネル(赤、緑、青)のみではなく、数百のスペクトルバンドが存在するため、大量のデータを生成する。
これはハイパースペクトル画像センサと、画像の分類/検出/追跡に使用されるプロセッサ、フレーム単位のフレーム、高エネルギーの出力、帯域幅とセキュリティボトルネックの原因となる。
この問題を軽減するために,高スペクトル画像認識 (HSI) のための最新の畳み込みニューラルネットワーク (CNN) が必要とする幅広い複雑な操作を実現するために,高度なCMOS技術を活用した処理インピクセル (PIP) 方式を提案する。
その結果、我々のPIP最適化カスタムCNN層は、入力データを効果的に圧縮し、データをHSI処理ユニットに下流に送信するために必要な帯域幅を大幅に削減する。
これにより、カメラの画素配列とcnn処理ユニットに関する平均エネルギー消費量が、既存のハードウェア実装と比較してそれぞれ25.06倍と3.90倍削減される。
当社のカスタムモデルでは,標準HSIベンチマークのベースラインモデルの0.56%以内で,平均的なテスト精度が得られます。
関連論文リスト
- Data-Driven Pixel Control: Challenges and Prospects [13.158333009169418]
本稿では,画素レベルでのダイナミックセンシングと映像レベルでのコンピュータビジョン分析を組み合わせたデータ駆動システムについて検討する。
本システムでは, 帯域幅を10倍に減らし, 省エネ製品(EDP)の15～30倍改善を実現している。
論文 参考訳（メタデータ） (2024-08-08T21:49:19Z) - Spatiotemporal Attention-based Semantic Compression for Real-time Video
Recognition [117.98023585449808]
本稿では,各フレームにおけるフレームと画素の重要性を評価するために,時間的注意に基づくオートエンコーダ(STAE)アーキテクチャを提案する。
我々は3D-2D CNNを組み合わせた軽量デコーダを開発し、欠落した情報を再構成する。
実験の結果,VT_STAEはビデオデータセットH51を,5%の精度で104倍圧縮できることがわかった。
論文 参考訳（メタデータ） (2023-05-22T07:47:27Z) - Attention-based Feature Compression for CNN Inference Offloading in Edge
Computing [93.67044879636093]
本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。
エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
論文 参考訳（メタデータ） (2022-11-24T18:10:01Z) - Enabling ISP-less Low-Power Computer Vision [4.102254385058941]
汎用的な高レベル視覚タスクのための大規模ベンチマークの生版をリリースする。
ISPなしのCVシステムでは、生画像のトレーニングにより、テスト精度が7.1%向上する。
そこで本研究では,画素内CNN計算と組み合わせた,エネルギー効率のよいアナログインピクセル復号法を提案する。
論文 参考訳（メタデータ） (2022-10-11T13:47:30Z) - Rethinking Unsupervised Neural Superpixel Segmentation [6.123324869194195]
CNNによるスーパーピクセルセグメンテーションのための教師なし学習が研究されている。
このようなネットワークの有効性を改善するために,3つの重要な要素を提案する。
BSDS500データセットを実験した結果,提案手法の意義を示す証拠が得られた。
論文 参考訳（メタデータ） (2022-06-21T09:30:26Z) - P2M: A Processing-in-Pixel-in-Memory Paradigm for Resource-Constrained
TinyML Applications [4.102356304183255]
高い解像度の入力画像は、カメラとAI処理ユニットの間でフレームごとにストリームされ、エネルギー、帯域幅、セキュリティボトルネックを引き起こす必要がある。
本稿では,アナログマルチチャネル,マルチビット畳み込み,ReLUのサポートを追加して画素配列をカスタマイズする,新しいProcessing-in-Pixel-in-Memory(P2M)パラダイムを提案する。
以上の結果から,P2Mはセンサやアナログからデジタル変換へのデータ転送帯域を21倍に削減し,TinyML上でMobileNetV2モデルを処理する際に発生するエネルギ遅延生成物(EDP)が得られた。
論文 参考訳（メタデータ） (2022-03-07T04:15:29Z) - HYPER-SNN: Towards Energy-efficient Quantized Deep Spiking Neural
Networks for Hyperspectral Image Classification [5.094623170336122]
スパイキングニューラルネットワーク(SNN)は、重量、膜漏れ、発射閾値を最適化するために量子化対応の勾配降下を訓練する。
トレーニングと推論の両方の間、HSIのアナログ画素値はスパイクトレインに変換することなくSNNの入力層に直接適用される。
3次元および3次元/2次元ハイブリッド畳み込みアーキテクチャ上での3つのHSIデータセットを用いて提案手法の評価を行った。
論文 参考訳（メタデータ） (2021-07-26T06:17:10Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳（メタデータ） (2021-03-15T12:54:26Z) - CNNs for JPEGs: A Study in Computational Cost [49.97673761305336]
畳み込みニューラルネットワーク(CNN)は過去10年間で驚くべき進歩を遂げてきた。
CNNはRGBピクセルから直接データの堅牢な表現を学習することができる。
近年,圧縮領域から直接学習できる深層学習手法が注目されている。
論文 参考訳（メタデータ） (2020-12-26T15:00:10Z) - Hyperspectral Image Super-resolution via Deep Progressive Zero-centric
Residual Learning [62.52242684874278]
空間情報とスペクトル情報の相互モダリティ分布が問題となる。
本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。
本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
論文 参考訳（メタデータ） (2020-06-18T06:32:11Z) - Real-Time High-Performance Semantic Image Segmentation of Urban Street
Scenes [98.65457534223539]
都市景観のロバストなセマンティックセマンティックセグメンテーションのためのリアルタイムDCNNに基づく高速DCNN手法を提案する。
提案手法は, 51.0 fps と 39.3 fps の推論速度で, 平均 73.6% と平均 68.0% (mIoU) の精度を実現する。
論文 参考訳（メタデータ） (2020-03-11T08:45:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。