論文の概要: Data-Driven Pixel Control: Challenges and Prospects
- arxiv url: http://arxiv.org/abs/2408.04767v1
- Date: Thu, 8 Aug 2024 21:49:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 17:08:34.643025
- Title: Data-Driven Pixel Control: Challenges and Prospects
- Title（参考訳）: データ駆動型Pixelコントロール - 課題と展望
- Authors: Saurabh Farkya, Zachary Alan Daniels, Aswin Raghavan, Gooitzen van der Wal, Michael Isnardi, Michael Piacentino, David Zhang,
- Abstract要約: 本稿では,画素レベルでのダイナミックセンシングと映像レベルでのコンピュータビジョン分析を組み合わせたデータ駆動システムについて検討する。
本システムでは, 帯域幅を10倍に減らし, 省エネ製品(EDP)の15～30倍改善を実現している。
- 参考スコア（独自算出の注目度）: 13.158333009169418
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent advancements in sensors have led to high resolution and high data throughput at the pixel level. Simultaneously, the adoption of increasingly large (deep) neural networks (NNs) has lead to significant progress in computer vision. Currently, visual intelligence comes at increasingly high computational complexity, energy, and latency. We study a data-driven system that combines dynamic sensing at the pixel level with computer vision analytics at the video level and propose a feedback control loop to minimize data movement between the sensor front-end and computational back-end without compromising detection and tracking precision. Our contributions are threefold: (1) We introduce anticipatory attention and show that it leads to high precision prediction with sparse activation of pixels; (2) Leveraging the feedback control, we show that the dimensionality of learned feature vectors can be significantly reduced with increased sparsity; and (3) We emulate analog design choices (such as varying RGB or Bayer pixel format and analog noise) and study their impact on the key metrics of the data-driven system. Comparative analysis with traditional pixel and deep learning models shows significant performance enhancements. Our system achieves a 10X reduction in bandwidth and a 15-30X improvement in Energy-Delay Product (EDP) when activating only 30% of pixels, with a minor reduction in object detection and tracking precision. Based on analog emulation, our system can achieve a throughput of 205 megapixels/sec (MP/s) with a power consumption of only 110 mW per MP, i.e., a theoretical improvement of ~30X in EDP.
- Abstract（参考訳）: センサの最近の進歩は、ピクセルレベルでの高解像度と高データのスループットをもたらしている。
同時に、大規模(ディープ)ニューラルネットワーク(NN)の採用がコンピュータビジョンの大幅な進歩につながっている。
現在、ビジュアルインテリジェンスには、計算複雑性、エネルギ、レイテンシが増加しています。
本研究では,画素レベルでのダイナミックセンシングと映像レベルでのコンピュータビジョン分析を組み合わせたデータ駆動システムについて検討し,センサフロントエンドと計算バックエンド間のデータ移動を最小限に抑えるフィードバック制御ループを提案する。
提案手法は,(1)画素のスパースアクティベーションによる高精度な予測,(2)フィードバック制御の活用,(3)学習特徴ベクトルの次元性は空間性の増加とともに著しく低下しうること,(3)アナログ設計の選択肢(RGBやバイエルピクセルの形式やアナログノイズなど)をエミュレートし,データ駆動システムの重要な指標に与える影響について検討する。
従来のピクセルモデルとディープラーニングモデルとの比較分析は、大幅な性能向上を示している。
本システムでは,約30%の画素を動作させると,帯域幅が10倍に減少し,エネルギー遅延生成(EDP)が15～30倍に向上し,オブジェクト検出と追跡精度がわずかに低下する。
アナログエミュレーションに基づき,205メガピクセル/秒(MP/s)のスループットを実現し,電力消費量は110mW/MPである。
関連論文リスト
- Energy-Efficient & Real-Time Computer Vision with Intelligent Skipping via Reconfigurable CMOS Image Sensors [5.824962833043625]
ビデオベースのコンピュータビジョンアプリケーションは、一般的に、その重要性に関わらず、フレーム内のすべてのピクセルを読み、処理するため、高エネルギー消費に悩まされる。
従来の作業では、入力パッチやピクセルをスキップし、最終タスクからのフィードバックを使ってスキップアルゴリズムをガイドすることで、このエネルギーを削減しようとしていた。
本稿では,センサの読み出しフェーズにおいて,フレーム内の不規則領域や行を選択的にスキップすることで,エネルギー効率を向上させるカスタムデザインCMOSイメージセンサ(CIS)システムを提案する。
論文 参考訳（メタデータ） (2024-09-25T20:32:55Z) - Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。
本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。
この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
論文 参考訳（メタデータ） (2024-04-15T09:33:09Z) - Random resistive memory-based deep extreme point learning machine for
unified visual processing [67.51600474104171]
ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。
我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
論文 参考訳（メタデータ） (2023-12-14T09:46:16Z) - Agile gesture recognition for capacitive sensing devices: adapting
on-the-job [55.40855017016652]
本システムでは, コンデンサセンサからの信号を手の動き認識器に組み込んだ手動作認識システムを提案する。
コントローラは、着用者5本の指それぞれからリアルタイム信号を生成する。
機械学習技術を用いて時系列信号を解析し,500ms以内で5本の指を表現できる3つの特徴を同定する。
論文 参考訳（メタデータ） (2023-05-12T17:24:02Z) - Vicinity Vision Transformer [53.43198716947792]
線形複雑度を有する視覚変換器に局所性バイアスを導入するビシニティ注意法を提案する。
提案手法は,従来の手法よりも50%少ないパラメータで,最先端の画像分類精度を実現する。
論文 参考訳（メタデータ） (2022-06-21T17:33:53Z) - Single-Shot Optical Neural Network [55.41644538483948]
深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。
我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
論文 参考訳（メタデータ） (2022-05-18T17:49:49Z) - SALISA: Saliency-based Input Sampling for Efficient Video Object
Detection [58.22508131162269]
ビデオオブジェクト検出のための新しい一様SALiencyベースの入力SAmpling技術であるSALISAを提案する。
SALISAは小物体の検出を著しく改善することを示す。
論文 参考訳（メタデータ） (2022-04-05T17:59:51Z) - Toward Efficient Hyperspectral Image Processing inside Camera Pixels [1.6449390849183356]
ハイパースペクトルカメラは、数百のスペクトル帯が存在するため、大量のデータを生成する。
この問題を軽減するために,PIP (Processing-in-Pixel) 形式を提案する。
我々のPIP最適化カスタムCNN層は、入力データを効果的に圧縮し、データをHSI処理ユニットに送信するために必要な帯域幅を大幅に削減する。
論文 参考訳（メタデータ） (2022-03-11T01:06:02Z) - Analyzing General-Purpose Deep-Learning Detection and Segmentation
Models with Images from a Lidar as a Camera Sensor [0.06554326244334865]
本研究は,高度ライダーセンサのイメージライクな出力処理のための汎用DL認識アルゴリズムの可能性について検討する。
3次元の点クラウドデータを処理するのではなく、私たちの知る限りでは、360textの視野を持つ低解像度の画像にフォーカスする最初の試みである。
適切な事前処理を行うことで、汎用DLモデルはこれらの画像を処理し、環境条件下での使用への扉を開くことができることを示す。
論文 参考訳（メタデータ） (2022-03-08T13:14:43Z) - An Ultra Fast Low Power Convolutional Neural Network Image Sensor with
Pixel-level Computing [3.41234610095684]
本稿では,カラム読み出し回路前の畳み込み動作を可能にし,画像読み出し速度を大幅に向上できるpip( processing-in-pixel) cmosセンサアーキテクチャを提案する。
言い換えれば、計算効率は4.75 TOPS/wであり、最先端の約3.6倍である。
論文 参考訳（メタデータ） (2021-01-09T07:10:03Z) - Fully Embedding Fast Convolutional Networks on Pixel Processor Arrays [16.531637803429277]
本稿では,PPA(Pixel processor array)視覚センサのための新しいCNN推論手法を提案する。
提案手法は, 畳み込み層, 最大プーリング, ReLu, およびPPAセンサ上に完全に接続された最終層を実現する。
これは、外部処理を必要としないPPA視覚センサデバイスのプロセッサアレイで完全に行われたCNN推論を示す最初の研究である。
論文 参考訳（メタデータ） (2020-04-27T01:00:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。