論文の概要: Hardware-Aware Learned Representation Compression for Distributed In-Sensor Vision

• arxiv url: http://arxiv.org/abs/2609.13947v1
• Date: Sat, 12 Sep 2026 13:45:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.61734
• Title: Hardware-Aware Learned Representation Compression for Distributed In-Sensor Vision
• Title（参考訳）: 分散インセンサービジョンのためのハードウェア・アウェア学習型表現圧縮
• Abstract要約: インセンサコンピューティングは、センサー近傍で早期処理を行うことにより、高解像度画像データを送信するコストを低減する。 オフチップ伝送の前に,軽量エンコーダを用いてタスク関連表現を生成する分散インセンサ・ビジョン・フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 12.005354252650505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-sensor computing reduces the cost of transmitting high-resolution image data by performing early-stage processing near the sensor. However, the logic chip integrated with a CMOS image sensor (CIS) is tightly constrained in compute and memory, limiting conventional deep neural network partitioning. We present OASIS, a distributed in-sensor vision framework that uses a lightweight encoder to generate compact, task-relevant representations before off-chip transmission. The encoder is trained end-to-end using task, entropy, and reconstruction objectives, while the decoder is used only during training. OASIS supports two complementary deployment paths. The first applies 4-bit quantization and Huffman coding while preserving the spatial structure required by classification and dense-prediction tasks. The second uses Sobol-based hyperdimensional computing (HDC) to transform the encoder latent into a fixed-dimensional binary hypervector for associative-memory classification. For the SwinViT-based VWW model, mapping a $3\times3\times8$ latent to a 64-dimensional hypervector provides an additional $1.77\times$ communication reduction with less than one percentage point of accuracy loss relative to the 128-dimensional configuration, yielding an overall $18{,}816\times$ reduction compared with raw 8-bit image transmission. We implement the digital near-sensor pipeline on an AMD Xilinx Zynq UltraScale+ FPGA and characterize it using direct board-level power measurements and Vivado post-implementation analysis, together with circuit-simulated CIS models and a 7-nm ASIC projection. Across visual wake-word classification, hand tracking, and eye tracking, OASIS reduces total system energy by approximately $2\times$-$4.5\times$ while maintaining competitive accuracy, demonstrating a practical hardware-algorithm co-design path for communication-efficient in-sensor vision.
• Abstract（参考訳）: インセンサコンピューティングは、センサー近傍で早期処理を行うことにより、高解像度画像データを送信するコストを低減する。 しかし、CMOSイメージセンサ(CIS)と統合されたロジックチップは、計算とメモリにおいて厳しく制約されており、従来のディープニューラルネットワークのパーティショニングを制限している。 我々は,オフチップ伝送の前に,軽量エンコーダを用いてタスク関連表現を生成する分散インセンサビジョンフレームワークOASISを提案する。 エンコーダはタスク、エントロピー、再構築目的を用いてエンドツーエンドで訓練され、デコーダはトレーニング時にのみ使用される。 OASISは2つの補完的なデプロイメントパスをサポートする。 第一に、4ビットの量子化とハフマン符号を適用し、分類と密接な予測タスクに必要な空間構造を保存する。 2つ目は、ソボベースの超次元計算(HDC)を使用して、エンコーダラプタントを連想メモリ分類のための固定次元のバイナリハイパーベクターに変換することである。 SwinViTベースのVWWモデルでは、64次元ハイパーベクターに3.3\times3\times8$ラテントをマッピングすることで、128次元構成と比較して1パーセント未満の精度損失で1.77\times$通信削減が可能となり、生の8ビット画像伝送と比較して総じて18{,}816\times$削減となる。 我々はAMD Xilinx Zynq UltraScale+FPGA上にディジタルニアセンサパイプラインを実装し、回路シミュレーションCISモデルと7nmASICプロジェクションとともに、直接基板レベルの電力測定とVivado後実装分析を用いてそれを特徴付ける。 OASISは、視覚的なウェイクワードの分類、手の動きの追跡、および目の動きを追跡することで、競争精度を維持しながら、システム全体のエネルギーを約2\times$-4.5\times$で削減する。

関連論文リスト

• MAUPITI: On-Device Prototype-Based Learning on a Smart Infrared Sensor [4.173901102591031]
  低分解能赤外線(IR)アレイセンサは、組み込みシステムにおけるプライバシー保護のための興味深いソリューションである。 16$times$16熱(TMOS)アレイと、低精度SIMD命令で拡張されたRISC-Vマイクロコントローラを統合したスマートマルチピクセルIRセンサについて述べる。
  論文  参考訳（メタデータ） (2026-08-07T13:07:24Z)
• FrequencyFormer: A Co-Designed Sensor-to-Processor Pipeline for Frequency-Domain Vision Transformer Inference [14.28810702708295]
  本稿では,効率的なViT推論のためのセンサ・ツー・プロセッサ・パイプラインである FrequencyFormer を提案する。 パイプラインは28.8TOPS/Wを実現し、通信エネルギーを230倍、センサ側の総エネルギーを2.22倍削減する。
  論文  参考訳（メタデータ） (2026-06-17T20:28:16Z)
• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• End-to-End Keyword Spotting on FPGA Using Graph Neural Networks with a Neuromorphic Auditory Sensor [5.586479481221699]
  ニューロモルフィック聴覚センサ(NAS)とグラフニューラルネットワーク(GNN)を統合したキーワードスポッティングシステムのエンドツーエンドFPGA実装について述べる。 提案アーキテクチャでは、従来の信号前処理を廃止し、イベントベースのオーディオストリームを直接操作する。 ニューロモルフィックセンサーによって処理されたGoogle Speech Commands v2データセットの量子化後の精度は87.43%である。
  論文  参考訳（メタデータ） (2026-05-10T14:31:01Z)
• Primitive-Driven Acceleration of Hyperdimensional Computing for Real-Time Image Classification [0.07646713951724012]
  局所的な画像パッチを空間情報に富んだハイパーベクターにマッピングする画像符号化アルゴリズムを開発した。 これらのパッチレベルのハイパーベクターは、基本HDC演算を用いてグローバル表現にマージされる。 このエンコーダは、MNISTで95.67%、Fashion-MNISTで85.14%の精度を達成し、HDCベースの画像エンコーダよりも優れていた。
  論文  参考訳（メタデータ） (2026-01-27T21:12:56Z)
• SegViTv2: Exploring Efficient and Continual Semantic Segmentation with Plain Vision Transformers [76.13755422671822]
  本稿では,エンコーダ・デコーダ・フレームワークを用いた意味的セグメンテーションのためのプレーンビジョン変換器(ViT)の能力について検討する。 Intention-to-Mask(atm)モジュールを導入し、平易なViTに有効な軽量デコーダを設計する。 我々のデコーダは、様々なViTバックボーンを使用して人気のあるデコーダUPerNetより優れ、計算コストの5%程度しか消費しない。
  論文  参考訳（メタデータ） (2023-06-09T22:29:56Z)
• RN-Net: Reservoir Nodes-Enabled Neuromorphic Vision Sensing Network [7.112892720740359]
  イベントベースのカメラは、生物学的視覚系のスパイクと非同期スパイク表現にインスパイアされている。 本稿では,局所的および大域的貯水池の動的時間エンコーディングと統合された単純な畳み込み層に基づくニューラルネットワークアーキテクチャを提案する。 RN-Netはこれまでに報告されたDV128 Gestureの99.2%の最高精度を達成しており、DVS Lipデータセットの67.5%の最高精度の1つである。
  論文  参考訳（メタデータ） (2023-03-19T21:20:45Z)
• In-Sensor & Neuromorphic Computing are all you need for Energy Efficient Computer Vision [6.323908398583083]
  ニューロモルフィックスパイキングニューラルネットワーク(SNN)のためのインセンサ・ハードウェア・ソフトウェア協調設計フレームワークを提案する。 提案手法は,従来のCV処理と比較して,12-96倍の検知と処理の帯域幅と総エネルギーを2.32倍に削減する。
  論文  参考訳（メタデータ） (2022-12-21T09:47:52Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• Small Lesion Segmentation in Brain MRIs with Subpixel Embedding [105.1223735549524]
  ヒト脳のMRIスキャンを虚血性脳梗塞と正常組織に分割する方法を提案する。 本稿では,空間展開埋め込みネットワークによって予測を導出する標準エンコーダデコーダの形式でニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-09-18T00:21:17Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Binary DAD-Net: Binarized Driveable Area Detection Network for Autonomous Driving [94.40107679615618]
  本稿では,二項化駆動型領域検出ネットワーク(バイナリDAD-Net)を提案する。 エンコーダ、ボトルネック、デコーダ部分の2重みとアクティベーションのみを使用する。 パブリックデータセット上で、最先端のセマンティックセグメンテーションネットワークより優れています。
  論文  参考訳（メタデータ） (2020-06-15T07:09:01Z)
• Near-chip Dynamic Vision Filtering for Low-Bandwidth Pedestrian Detection [99.94079901071163]
  本稿では、ダイナミックビジョンセンサ(DVS)を用いた歩行者検出のための新しいエンドツーエンドシステムを提案する。 我々は、複数のセンサがローカル処理ユニットにデータを送信し、検出アルゴリズムを実行するアプリケーションをターゲットにしている。 我々の検出器は450ミリ秒毎に検出を行うことができ、総合的なテストF1スコアは83%である。
  論文  参考訳（メタデータ） (2020-04-03T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。