Fugu-MT 論文翻訳(概要): Energy-Efficient & Real-Time Computer Vision with Intelligent Skipping via Reconfigurable CMOS Image Sensors

論文の概要: Energy-Efficient & Real-Time Computer Vision with Intelligent Skipping via Reconfigurable CMOS Image Sensors

arxiv url: http://arxiv.org/abs/2409.17341v1
Date: Wed, 25 Sep 2024 20:32:55 GMT
ステータス: 処理完了
システム内更新日: 2024-09-30 12:15:34.906749
Title: Energy-Efficient & Real-Time Computer Vision with Intelligent Skipping via Reconfigurable CMOS Image Sensors
Title（参考訳）: CMOSイメージセンサによるインテリジェントスキッピングによるエネルギー効率・リアルタイムコンピュータビジョン
Authors: Md Abdullah-Al Kaiser, Sreetama Sarkar, Peter A. Beerel, Akhilesh R. Jaiswal, Gourav Datta,
Abstract要約: ビデオベースのコンピュータビジョンアプリケーションは、一般的に、その重要性に関わらず、フレーム内のすべてのピクセルを読み、処理するため、高エネルギー消費に悩まされる。従来の作業では、入力パッチやピクセルをスキップし、最終タスクからのフィードバックを使ってスキップアルゴリズムをガイドすることで、このエネルギーを削減しようとしていた。本稿では,センサの読み出しフェーズにおいて,フレーム内の不規則領域や行を選択的にスキップすることで,エネルギー効率を向上させるカスタムデザインCMOSイメージセンサ(CIS)システムを提案する。
参考スコア（独自算出の注目度）: 5.824962833043625
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Current video-based computer vision (CV) applications typically suffer from high energy consumption due to reading and processing all pixels in a frame, regardless of their significance. While previous works have attempted to reduce this energy by skipping input patches or pixels and using feedback from the end task to guide the skipping algorithm, the skipping is not performed during the sensor read phase. As a result, these methods can not optimize the front-end sensor energy. Moreover, they may not be suitable for real-time applications due to the long latency of modern CV networks that are deployed in the back-end. To address this challenge, this paper presents a custom-designed reconfigurable CMOS image sensor (CIS) system that improves energy efficiency by selectively skipping uneventful regions or rows within a frame during the sensor's readout phase, and the subsequent analog-to-digital conversion (ADC) phase. A novel masking algorithm intelligently directs the skipping process in real-time, optimizing both the front-end sensor and back-end neural networks for applications including autonomous driving and augmented/virtual reality (AR/VR). Our system can also operate in standard mode without skipping, depending on application needs. We evaluate our hardware-algorithm co-design framework on object detection based on BDD100K and ImageNetVID, and gaze estimation based on OpenEDS, achieving up to 53% reduction in front-end sensor energy while maintaining state-of-the-art (SOTA) accuracy.
Abstract（参考訳）: 現在のビデオベースのコンピュータビジョン(CV)アプリケーションは、一般的に、その重要性に関わらず、フレーム内のすべてのピクセルを読み、処理するため、高エネルギー消費に悩まされる。従来の作業では、入力パッチやピクセルをスキップし、最終タスクからのフィードバックを使ってスキップアルゴリズムを誘導することで、このエネルギーを削減しようとしたが、センサ読み取りフェーズではスキップを行わない。その結果、これらの手法は、フロントエンドセンサーのエネルギーを最適化できない。さらに、バックエンドにデプロイされる最新のCVネットワークの長いレイテンシのため、リアルタイムアプリケーションには適さないかもしれない。この課題に対処するために,センサの読み出しフェーズにおいて,不確実領域や行を選択的にスキップし,それに続くアナログ・デジタル変換(ADC)フェーズによってエネルギー効率を向上する,カスタム設計のCMOSイメージセンサ(CIS)システムを提案する。新たなマスキングアルゴリズムは、自律運転や拡張現実(AR/VR)を含むアプリケーションのために、フロントエンドセンサーとバックエンドニューラルネットワークの両方を最適化して、スキッププロセスをリアルタイムでインテリジェントに指示する。私たちのシステムは、アプリケーションのニーズに応じてスキップすることなく、標準的なモードでも動作できます。 BDD100KとImageNetVIDに基づくオブジェクト検出のためのハードウェア・アルゴリズムの共同設計フレームワークの評価とOpenEDSに基づく視線推定を行い、最先端(SOTA)の精度を維持しつつ、フロントエンドセンサエネルギーの最大53%の削減を実現した。

関連論文リスト

Data-Driven Pixel Control: Challenges and Prospects [13.158333009169418]
本稿では,画素レベルでのダイナミックセンシングと映像レベルでのコンピュータビジョン分析を組み合わせたデータ駆動システムについて検討する。本システムでは, 帯域幅を10倍に減らし, 省エネ製品(EDP)の15～30倍改善を実現している。
論文参考訳（メタデータ） (2024-08-08T21:49:19Z)
Hardware-Algorithm Re-engineering of Retinal Circuit for Intelligent Object Motion Segmentation [0.0]
我々は、哺乳類網膜の基本的な視覚的特徴であるOMS(Object Motion Sensitivity)に焦点をあてる。イメージセンサの内部にOMS機能を実装する新しいCMOS回路を提案する。提案するCMOS回路設計の機能と再構成性は,180nm 技術におけるCadence シミュレーションにより検証する。
論文参考訳（メタデータ） (2024-07-31T20:35:11Z)
DemosaicFormer: Coarse-to-Fine Demosaicing Network for HybridEVS Camera [70.28702677370879]
Hybrid Event-Based Vision Sensor (HybridEVS)は、従来のフレームベースとイベントベースのセンサーを統合する新しいセンサーである。その可能性にもかかわらず、ハイブリッドEVS用に特別に設計された画像信号処理(ISP)パイプラインの欠如は大きな課題である。粗大な復調と画素補正を含む,粗大で微細なフレームワークであるDemosaicFormerを提案する。
論文参考訳（メタデータ） (2024-06-12T07:20:46Z)
Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
論文参考訳（メタデータ） (2024-04-15T09:33:09Z)
Fully Quantized Always-on Face Detector Considering Mobile Image Sensors [12.806584794505751]
現在の顔検出器は、組み込みDNNと統合された「インテリジェント」CMOSイメージセンサの要件を完全に満たしていない。本研究では,超低ビット軽量顔検出器を探索し,そのギャップを埋めることを目的としている。
論文参考訳（メタデータ） (2023-11-02T05:35:49Z)
PixelRNN: In-pixel Recurrent Neural Networks for End-to-end-optimized Perception with Neural Sensors [42.18718773182277]
従来の画像センサは高速フレームレートで高解像度画像をデジタル化し、さらなる処理のためにセンサーから送信する必要がある大量のデータを生成する。我々は、純粋なバイナリ演算を用いて、センサ上の時間的特徴を符号化する効率的なリカレントニューラルネットワークアーキテクチャ、PixelRNNの処理を開発する。 PixelRNNは、従来のシステムと比較して、センサから送信されるデータ量を64倍に削減し、手ジェスチャー認識や唇読解タスクの競合精度を提供する。
論文参考訳（メタデータ） (2023-04-11T18:16:47Z)
In-Sensor & Neuromorphic Computing are all you need for Energy Efficient Computer Vision [6.323908398583083]
ニューロモルフィックスパイキングニューラルネットワーク(SNN)のためのインセンサ・ハードウェア・ソフトウェア協調設計フレームワークを提案する。提案手法は,従来のCV処理と比較して,12-96倍の検知と処理の帯域幅と総エネルギーを2.32倍に削減する。
論文参考訳（メタデータ） (2022-12-21T09:47:52Z)
Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern Recognition on Neuromorphic Hardware [50.380319968947035]
近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。 LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
論文参考訳（メタデータ） (2022-05-30T14:30:45Z)
Feeling of Presence Maximization: mmWave-Enabled Virtual Reality Meets Deep Reinforcement Learning [76.46530937296066]
本稿では,無線モバイルユーザに対して,超信頼性でエネルギー効率のよいバーチャルリアリティ(VR)体験を提供するという課題について検討する。モバイルユーザへの信頼性の高い超高精細ビデオフレーム配信を実現するために,コーディネートマルチポイント(CoMP)伝送技術とミリ波(mmWave)通信を利用する。
論文参考訳（メタデータ） (2021-06-03T08:35:10Z)
Learning Camera Miscalibration Detection [83.38916296044394]
本稿では,視覚センサ,特にRGBカメラの誤校正検出を学習するためのデータ駆動型アプローチに焦点を当てた。コントリビューションには、RGBカメラの誤校正基準と、この基準に基づく新しい半合成データセット生成パイプラインが含まれる。深層畳み込みニューラルネットワークをトレーニングすることにより、カメラ固有のパラメータの再校正が必要か否かを判断するパイプラインの有効性を実証する。
論文参考訳（メタデータ） (2020-05-24T10:32:49Z)
Thermal phase shifters for femtosecond laser written photonic integrated circuits [58.720142291102135]
フォトニック集積回路(PIC)は、古典光学と量子光学の両方において多くの実用的な応用の要求を満たすための効果的な解として認められている。フォトニック回路に組み込まれた位相シフト器は、動作を微調整したり適応回路を生成するために、その特性を動的に再構成することができる。熱シフタを熱シフタの慎重に設計し、最も適切な駆動方法を選択することにより、フォトニック回路を再構成する熱シフタの解決方法を示す。
論文参考訳（メタデータ） (2020-04-23T20:09:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。