論文の概要: Latent Space Imaging
- arxiv url: http://arxiv.org/abs/2407.07052v1
- Date: Tue, 9 Jul 2024 17:17:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-10 17:07:48.273233
- Title: Latent Space Imaging
- Title（参考訳）: 潜時空間イメージング
- Authors: Matheus Souza, Yidan Zheng, Kaizhang Kang, Yogeshwar Nath Mishra, Qiang Fu, Wolfgang Heidrich,
- Abstract要約: 我々は,人工視覚システムの開発において,同様のアプローチを採用することを提案する。
遅延空間イメージング(Latent Space Imaging)は、光学とソフトウェアの組み合わせによって、画像情報を生成モデルの意味的にリッチな潜在空間に直接エンコードする新しいパラダイムである。
我々は,この新原理を,1画素カメラをベースとした初期ハードウェアプロトタイプを通じて実証する。
- 参考スコア（独自算出の注目度）: 15.435034286180295
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Digital imaging systems have classically been based on brute-force measuring and processing of pixels organized on regular grids. The human visual system, on the other hand, performs a massive data reduction from the number of photo-receptors to the optic nerve, essentially encoding the image information into a low bandwidth latent space representation suitable for processing by the human brain. In this work, we propose to follow a similar approach for the development of artificial vision systems. Latent Space Imaging is a new paradigm that, through a combination of optics and software, directly encodes the image information into the semantically rich latent space of a generative model, thus substantially reducing bandwidth and memory requirements during the capture process. We demonstrate this new principle through an initial hardware prototype based on the single pixel camera. By designing an amplitude modulation scheme that encodes into the latent space of a generative model, we achieve compression ratios from 1:100 to 1:1,000 during the imaging process, illustrating the potential of latent space imaging for highly efficient imaging hardware, to enable future applications in high speed imaging, or task-specific cameras with substantially reduced hardware complexity.
- Abstract（参考訳）: デジタルイメージングシステムは伝統的に、通常の格子上に配置された画素のブルートフォース測定と処理に基づいている。
一方、人間の視覚システムは、視神経への光受容体の数から、人間の脳による処理に適した低帯域潜在空間表現に画像情報をエンコードする大規模なデータ削減を行う。
本研究では,人工視覚システムの開発において,同様のアプローチを採用することを提案する。
遅延空間イメージング(Latent Space Imaging)は、光学とソフトウェアの組み合わせにより、画像情報を生成モデルの意味的にリッチな潜在空間に直接エンコードする新しいパラダイムである。
我々は,この新原理を,1画素カメラをベースとした初期ハードウェアプロトタイプを通じて実証する。
生成モデルの潜時空間にエンコードする振幅変調方式を設計することにより、撮像プロセス中に1:100から1:1,000の圧縮比を達成し、高効率な撮像ハードウェアにおける潜時空間イメージングの可能性を説明し、高速撮像や、ハードウェアの複雑さを大幅に低減したタスク特異的カメラの将来的な応用を可能にする。
関連論文リスト
- Transferable polychromatic optical encoder for neural networks [13.311727599288524]
本稿では,画像キャプチャ中に3つの色チャネルで同時に畳み込みを行う光学エンコーダを実演する。
このような光学符号化は計算処理を24,000倍に削減し、自由空間光学系における最先端の分類精度(73.2%)が得られる。
論文 参考訳（メタデータ） (2024-11-05T00:49:47Z) - SaccadeDet: A Novel Dual-Stage Architecture for Rapid and Accurate Detection in Gigapixel Images [50.742420049839474]
SaccadeDetは、人間の目の動きにインスパイアされた、ギガピクセルレベルの物体検出のための革新的なアーキテクチャである。
PANDAデータセットを用いて評価した本手法は,最先端手法の8倍の高速化を実現する。
また、全スライドイメージングへの応用を通じて、ギガピクセルレベルの病理解析に有意な可能性を示す。
論文 参考訳（メタデータ） (2024-07-25T11:22:54Z) - Streaming quanta sensors for online, high-performance imaging and vision [34.098174669870126]
量子画像センサ(QIS)は多くの困難なシナリオにおいて顕著な撮像能力を示した。
その可能性にもかかわらず、これらのセンサーの採用は、(a)高いデータレートと(b)非伝統的な生データを扱うための新しい計算パイプラインの必要性により、著しく妨げられている。
これらの課題に対処するために、単純で低帯域幅の計算パイプラインを導入する。
提案手法は,100倍の帯域幅削減とリアルタイム画像再構成とコンピュータビジョンを実現する。
論文 参考訳（メタデータ） (2024-06-02T20:30:49Z) - Neuromorphic Synergy for Video Binarization [54.195375576583864]
バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。
ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。
本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。
また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
論文 参考訳（メタデータ） (2024-02-20T01:43:51Z) - Learned Focused Plenoptic Image Compression with Microimage
Preprocessing and Global Attention [17.05466366805901]
集光レンズカメラは、光フィールド(LF)の空間情報と角情報を同時に記録することができる。
既存のレンズ画像圧縮法は、マイクロレンズリレー画像によって生じる複雑なマイクロテクスチャと、マイクロイメージ間の長距離相関により、キャプチャ画像に非効率であることを示す。
焦点を絞ったレンズ画像の圧縮を効率よく行うために, エンド・ツー・エンドの学習アーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-04-30T14:24:56Z) - Ultrafast single-channel machine vision based on neuro-inspired photonic
computing [0.0]
ニューロインスパイアされたフォトニックコンピューティングは、超低レイテンシでマシンビジョン処理を高速化するための有望なアプローチである。
本稿では,1つの入力チャネルのみで実世界の視覚情報を光学的に処理する,イメージセンサフリーなマシンビジョンフレームワークを提案する。
提案手法は高速画像認識と異常検出が可能であり,さらに高速撮像にも有効であることを示す。
論文 参考訳（メタデータ） (2023-02-15T10:08:04Z) - Deep Learning for Ultrasound Beamforming [120.12255978513912]
受信した超音波エコーを空間画像領域にマッピングするビームフォーミングは、超音波画像形成チェーンの心臓に位置する。
現代の超音波イメージングは、強力なデジタル受信チャネル処理の革新に大きく依存している。
ディープラーニング手法は、デジタルビームフォーミングパイプラインにおいて魅力的な役割を果たす。
論文 参考訳（メタデータ） (2021-09-23T15:15:21Z) - 10-mega pixel snapshot compressive imaging with a hybrid coded aperture [48.95666098332693]
高解像度画像は私たちの日常生活で広く使われているが、高解像度モードで動作するカメラのフレームレートが低いため、高速ビデオ撮影は困難である。
既存の撮像システムの低スループット化への解決策として、スナップショットイメージング(SCI)が提案された。
論文 参考訳（メタデータ） (2021-06-30T01:09:24Z) - Exploiting Raw Images for Real-Scene Super-Resolution [105.18021110372133]
本稿では,合成データと実撮影画像とのギャップを埋めるために,実シーンにおける単一画像の超解像化の問題について検討する。
本稿では,デジタルカメラの撮像過程を模倣して,よりリアルなトレーニングデータを生成する手法を提案する。
また、原画像に記録された放射情報を活用するために、2分岐畳み込みニューラルネットワークを開発した。
論文 参考訳（メタデータ） (2021-02-02T16:10:15Z) - Memory-efficient Learning for Large-scale Computational Imaging [3.255705667028885]
本稿では,大規模イメージングシステムにおけるデータ駆動設計を実現するために,ネットワークの可逆性を利用したメモリ効率の学習手法を提案する。
提案手法は,小型圧縮センシングの例と,マルチチャネル磁気共鳴イメージングと超高分解能光学顕微鏡の2つの大規模実世界のシステムについて実証する。
論文 参考訳（メタデータ） (2020-03-11T23:08:04Z) - Towards Coding for Human and Machine Vision: A Scalable Image Coding
Approach [104.02201472370801]
圧縮モデルと生成モデルの両方を活用することにより,新しい画像符号化フレームワークを考案した。
高度な生成モデルを導入することで、コンパクトな特徴表現と参照画素から画像を再構成するフレキシブルネットワークを訓練する。
実験により、人間の視覚的品質と顔のランドマーク検出の両方において、我々の枠組みが優れていることが示された。
論文 参考訳（メタデータ） (2020-01-09T10:37:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。