論文の概要: SnapPix: Efficient-Coding--Inspired In-Sensor Compression for Edge Vision
- arxiv url: http://arxiv.org/abs/2504.04535v1
- Date: Sun, 06 Apr 2025 16:24:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-08 14:14:38.271471
- Title: SnapPix: Efficient-Coding--Inspired In-Sensor Compression for Edge Vision
- Title（参考訳）: SnapPix: エッジビジョンのための効率的なコーディング-インセンサー圧縮
- Authors: Weikai Lin, Tianrui Ma, Adith Boloor, Yu Feng, Ruofan Xing, Xuan Zhang, Yuhao Zhu,
- Abstract要約: エッジ上でのエネルギー効率のよい画像取得は、リモートセンシングアプリケーションの実現に不可欠である。
本稿では,センサ内部のアナログ領域に生画素を圧縮するSnapPixというセンサアルゴリズムを共設計したシステムを提案する。
- 参考スコア（独自算出の注目度）: 10.880533232888412
- License:
- Abstract: Energy-efficient image acquisition on the edge is crucial for enabling remote sensing applications where the sensor node has weak compute capabilities and must transmit data to a remote server/cloud for processing. To reduce the edge energy consumption, this paper proposes a sensor-algorithm co-designed system called SnapPix, which compresses raw pixels in the analog domain inside the sensor. We use coded exposure (CE) as the in-sensor compression strategy as it offers the flexibility to sample, i.e., selectively expose pixels, both spatially and temporally. SNAPPIX has three contributions. First, we propose a task-agnostic strategy to learn the sampling/exposure pattern based on the classic theory of efficient coding. Second, we co-design the downstream vision model with the exposure pattern to address the pixel-level non-uniformity unique to CE-compressed images. Finally, we propose lightweight augmentations to the image sensor hardware to support our in-sensor CE compression. Evaluating on action recognition and video reconstruction, SnapPix outperforms state-of-the-art video-based methods at the same speed while reducing the energy by up to 15.4x. We have open-sourced the code at: https://github.com/horizon-research/SnapPix.
- Abstract（参考訳）: エッジ上でのエネルギー効率の高い画像取得は、センサノードが弱い計算能力を持ち、処理のためにリモートサーバ/クラウドにデータを送信しなければならないリモートセンシングアプリケーションを可能にするために不可欠である。
本稿では,センサ内部のアナログ領域に生画素を圧縮するSnapPixというセンサアルゴリズムを提案する。
我々は、センサー内圧縮戦略として符号化露光(CE)を用い、空間的にも時間的にも、選択的に画素を露光するといった、サンプルの柔軟性を提供する。
SNAPPIXには3つの貢献がある。
まず,効率的な符号化の古典的理論に基づいて,サンプリング/露出パターンを学習するためのタスクに依存しない手法を提案する。
次に、CE圧縮画像に特有の画素レベルの非均一性に対応するために、露光パターンで下流視覚モデルを設計する。
最後に,センサ内CE圧縮をサポートするために,画像センサハードウェアの軽量化を提案する。
アクション認識とビデオ再構成を評価したSnapPixは、最先端のビデオベースの手法を同じ速度で性能を上げ、エネルギーを最大15.4倍に削減する。
コードについては、https://github.com/horizon-research/SnapPix.comで公開しています。
関連論文リスト
- bit2bit: 1-bit quanta video reconstruction via self-supervised photon prediction [57.199618102578576]
疎二分量時間画像データから高画質の画像スタックを元の解像度で再構成する新しい方法であるbit2bitを提案する。
Poisson denoisingの最近の研究に触発されて、スパースバイナリ光子データから高密度な画像列を生成するアルゴリズムを開発した。
本研究では,様々な課題の画像条件下でのSPADの高速映像を多種多種に含む新しいデータセットを提案する。
論文 参考訳（メタデータ） (2024-10-30T17:30:35Z) - Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a
Light-Weight ToF Sensor [58.305341034419136]
単眼カメラと軽量ToFセンサを備えた初の高密度SLAMシステムを提案する。
本稿では,RGBカメラと軽量ToFセンサの両方の信号のレンダリングをサポートするマルチモーダル暗黙のシーン表現を提案する。
実験により,本システムは軽量なToFセンサの信号をうまく利用し,競合的な結果が得られることが示された。
論文 参考訳（メタデータ） (2023-08-28T07:56:13Z) - Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。
一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。
提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
論文 参考訳（メタデータ） (2023-05-03T17:56:01Z) - PixelRNN: In-pixel Recurrent Neural Networks for End-to-end-optimized
Perception with Neural Sensors [42.18718773182277]
従来の画像センサは高速フレームレートで高解像度画像をデジタル化し、さらなる処理のためにセンサーから送信する必要がある大量のデータを生成する。
我々は、純粋なバイナリ演算を用いて、センサ上の時間的特徴を符号化する効率的なリカレントニューラルネットワークアーキテクチャ、PixelRNNの処理を開発する。
PixelRNNは、従来のシステムと比較して、センサから送信されるデータ量を64倍に削減し、手ジェスチャー認識や唇読解タスクの競合精度を提供する。
論文 参考訳（メタデータ） (2023-04-11T18:16:47Z) - A direct time-of-flight image sensor with in-pixel surface detection and
dynamic vision [0.0]
3DフラッシュLIDARは、従来の走査型LIDARシステムに代わるもので、コンパクトなフォームファクターで正確な深度イメージングを約束する。
我々は,64x32ピクセル (256x128 SPAD) dToF イメージラを組込みヒストグラムを用いた画素を用いて,これらの制限を克服する。
これにより出力データフレームのサイズが大幅に小さくなり、10kFPS範囲の最大フレームレートや100kFPSの直接深度読み取りが可能となる。
論文 参考訳（メタデータ） (2022-09-23T14:38:00Z) - Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。
本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。
我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
論文 参考訳（メタデータ） (2022-02-09T18:48:02Z) - A photosensor employing data-driven binning for ultrafast image
recognition [0.0]
ピクセルビンニング(Pixel binning)は、光学画像の取得と分光において広く用いられる技術である。
ここでは、センサー要素の大部分を1つのスーパーピクセルに組み合わせることで、バイナリの概念を限界まで押し上げる。
与えられたパターン認識タスクに対しては、機械学習アルゴリズムを用いてトレーニングデータから最適な形状を決定する。
論文 参考訳（メタデータ） (2021-11-20T15:38:39Z) - Small Lesion Segmentation in Brain MRIs with Subpixel Embedding [105.1223735549524]
ヒト脳のMRIスキャンを虚血性脳梗塞と正常組織に分割する方法を提案する。
本稿では,空間展開埋め込みネットワークによって予測を導出する標準エンコーダデコーダの形式でニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-09-18T00:21:17Z) - Time-Multiplexed Coded Aperture Imaging: Learned Coded Aperture and
Pixel Exposures for Compressive Imaging Systems [56.154190098338965]
提案した時間多重符号化開口(TMCA)をエンドツーエンドで最適化できることを示した。
tmcaは圧縮光野イメージングとハイパースペクトルイメージングの2つの異なる応用において、より良いコード化されたスナップショットを誘導する。
この凝固法は、最先端の圧縮画像システムよりも4dB以上性能が高い。
論文 参考訳（メタデータ） (2021-04-06T22:42:34Z) - Plug-and-Play Algorithms for Video Snapshot Compressive Imaging [41.818167109996885]
低速2dセンサ(検出器)を用いたスナップショット映像撮影(sci)の再構成問題を考える。
SCIの基本原則は、異なるマスクを持つフレームを変調し、エンコードされたフレームをセンサーのスナップショットに統合することです。
私たちの日常生活で大規模な問題(HDまたはUHDビデオ)にSCIを適用することは、まだ1つのボトルネックが再構築アルゴリズムにあります。
論文 参考訳（メタデータ） (2021-01-13T00:51:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。