論文の概要: Streaming quanta sensors for online, high-performance imaging and vision

• arxiv url: http://arxiv.org/abs/2406.00859v1
• Date: Sun, 2 Jun 2024 20:30:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 03:07:06.137865
• Title: Streaming quanta sensors for online, high-performance imaging and vision
• Title（参考訳）: オンライン・高性能イメージング・ビジョンのための量子センサのストリーミング
• Authors: Tianyi Zhang, Matthew Dutson, Vivek Boominathan, Mohit Gupta, Ashok Veeraraghavan,
• Abstract要約: 量子画像センサ(QIS)は多くの困難なシナリオにおいて顕著な撮像能力を示した。 その可能性にもかかわらず、これらのセンサーの採用は、(a)高いデータレートと(b)非伝統的な生データを扱うための新しい計算パイプラインの必要性により、著しく妨げられている。 これらの課題に対処するために、単純で低帯域幅の計算パイプラインを導入する。 提案手法は,100倍の帯域幅削減とリアルタイム画像再構成とコンピュータビジョンを実現する。
• 参考スコア（独自算出の注目度）: 34.098174669870126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently quanta image sensors (QIS) -- ultra-fast, zero-read-noise binary image sensors -- have demonstrated remarkable imaging capabilities in many challenging scenarios. Despite their potential, the adoption of these sensors is severely hampered by (a) high data rates and (b) the need for new computational pipelines to handle the unconventional raw data. We introduce a simple, low-bandwidth computational pipeline to address these challenges. Our approach is based on a novel streaming representation with a small memory footprint, efficiently capturing intensity information at multiple temporal scales. Updating the representation requires only 16 floating-point operations/pixel, which can be efficiently computed online at the native frame rate of the binary frames. We use a neural network operating on this representation to reconstruct videos in real-time (10-30 fps). We illustrate why such representation is well-suited for these emerging sensors, and how it offers low latency and high frame rate while retaining flexibility for downstream computer vision. Our approach results in significant data bandwidth reductions ~100X and real-time image reconstruction and computer vision -- $10^4$-$10^5$ reduction in computation than existing state-of-the-art approach while maintaining comparable quality. To the best of our knowledge, our approach is the first to achieve online, real-time image reconstruction on QIS.
• Abstract（参考訳）: 最近、量子画像センサ(QIS) - 超高速、ゼロ・リード・ノイズのバイナリ画像センサー - は、多くの困難なシナリオで顕著な撮像能力を示している。 その可能性にもかかわらず、これらのセンサーの採用は、非常に妨げられている。 a) 高いデータレートと (b)非伝統的な生データを扱うための新しい計算パイプラインの必要性。 これらの課題に対処するために、単純で低帯域幅の計算パイプラインを導入する。 提案手法は,メモリフットプリントが小さい新しいストリーミング表現に基づいて,複数の時間スケールで効率よく強度情報をキャプチャする。 表現の更新には16の浮動小数点演算/ピクセルしか必要とせず、バイナリフレームのネイティブフレームレートでオンラインで効率よく計算できる。 この表現で動作するニューラルネットワークを用いて、リアルタイムでビデオ(10-30 fps)を再構成する。 このような表現が、これらの新興センサに適している理由と、下流コンピュータビジョンの柔軟性を維持しながら、低レイテンシと高フレームレートを提供する方法について説明する。 提案手法は,データ帯域幅の大幅な削減と,リアルタイム画像再構成とコンピュータビジョン -- 10^4$-$10^5$の削減を実現する。 我々の知る限りでは、私たちのアプローチはQIS上でオンラインでリアルタイムな画像再構成を実現する最初の方法です。

関連論文リスト

• bit2bit: 1-bit quanta video reconstruction via self-supervised photon prediction [57.199618102578576]
  疎二分量時間画像データから高画質の画像スタックを元の解像度で再構成する新しい方法であるbit2bitを提案する。 Poisson denoisingの最近の研究に触発されて、スパースバイナリ光子データから高密度な画像列を生成するアルゴリズムを開発した。 本研究では,様々な課題の画像条件下でのSPADの高速映像を多種多種に含む新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-30T17:30:35Z)
• Characterization of point-source transient events with a rolling-shutter compressed sensing system [0.0]
  ポイントソースの過渡イベント(PSTE)は、イメージングシステムにいくつかの課題をもたらす。 これらの要件を満たす従来のイメージングシステムは、価格、サイズ、重量、消費電力、データ帯域幅の点で費用がかかる。 画像システムのローリングシャッター読み出しに適応した新しい圧縮センシングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-08-29T19:22:37Z)
• Neuromorphic Synergy for Video Binarization [54.195375576583864]
  バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。 ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。 本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。 また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
  論文  参考訳（メタデータ） (2024-02-20T01:43:51Z)
• EDeNN: Event Decay Neural Networks for low latency vision [26.784944204163363]
  我々は、元のイベントデータストリームに近く動作する新しいタイプのニューラルネットワークを開発する。 角速度回帰および競合光学流推定における最先端性能を示す。
  論文  参考訳（メタデータ） (2022-09-09T15:51:39Z)
• Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent Neural Network [14.796204921975733]
  デュアルビュースナップショット圧縮イメージング(SCI)は、2つの視野(FoV)からのビデオを1つのスナップショットでキャプチャすることを目的としている。 既存のモデルベースの復号アルゴリズムでは個々のシーンを再構築することは困難である。 本稿では,2重ビデオSCIシステムのための光フロー支援型リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-09-11T14:24:44Z)
• Learning optical flow from still images [53.295332513139925]
  我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。 既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。 我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
  論文  参考訳（メタデータ） (2021-04-08T17:59:58Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)
• CNNs for JPEGs: A Study in Computational Cost [49.97673761305336]
  畳み込みニューラルネットワーク(CNN)は過去10年間で驚くべき進歩を遂げてきた。 CNNはRGBピクセルから直接データの堅牢な表現を学習することができる。 近年,圧縮領域から直接学習できる深層学習手法が注目されている。
  論文  参考訳（メタデータ） (2020-12-26T15:00:10Z)
• 11 TeraFLOPs per second photonic convolutional accelerator for deep learning optical neural networks [0.0]
  10 TeraFLOPS(1秒あたりの浮動小数点演算)を超える全光ベクトル畳み込み加速器を実証する。 次に、同じハードウェアを用いて、10個の出力ニューロンを持つ深部光学CNNを逐次形成し、900ピクセルの手書き数字画像と88%の精度で完全な10桁の認識を成功させる。 このアプローチはスケーラブルで、無人車やリアルタイムビデオ認識のような要求のあるアプリケーションのために、より複雑なネットワークに対してトレーニング可能である。
  論文  参考訳（メタデータ） (2020-11-14T21:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。