論文の概要: Real-time Hyperspectral Imaging in Hardware via Trained Metasurface
Encoders
- arxiv url: http://arxiv.org/abs/2204.02084v1
- Date: Tue, 5 Apr 2022 09:52:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-06 19:48:09.907277
- Title: Real-time Hyperspectral Imaging in Hardware via Trained Metasurface
Encoders
- Title(参考訳): トレーニングされたメタサーフェスエンコーダによるハードウェアのリアルタイムハイパースペクトルイメージング
- Authors: Maksim Makarenko, Arturo Burguete-Lopez, Qizhou Wang, Fedor Getman,
Silvio Giancola, Bernard Ghanem and Andrea Fratalocchi
- Abstract要約: ハイパースペクトルイメージングは、コンピュータビジョンにおける画像分類と自動パターン認識のためのスペクトルシグネチャを特定するために大きな注目を集めている。
上述した制限に対処する新しい統合アーキテクチャであるHyplexを紹介する。
HyplexはCMOS互換で高速なハイパースペクトルカメラで、バルク光学を人工知能によって逆向きにデザインされたナノスケールのメタ曲面に置き換える。
- 参考スコア(独自算出の注目度): 55.16861072631285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hyperspectral imaging has attracted significant attention to identify
spectral signatures for image classification and automated pattern recognition
in computer vision. State-of-the-art implementations of snapshot hyperspectral
imaging rely on bulky, non-integrated, and expensive optical elements,
including lenses, spectrometers, and filters. These macroscopic components do
not allow fast data processing for, e.g real-time and high-resolution videos.
This work introduces Hyplex, a new integrated architecture addressing the
limitations discussed above. Hyplex is a CMOS-compatible, fast hyperspectral
camera that replaces bulk optics with nanoscale metasurfaces inversely designed
through artificial intelligence. Hyplex does not require spectrometers but
makes use of conventional monochrome cameras, opening up the possibility for
real-time and high-resolution hyperspectral imaging at inexpensive costs.
Hyplex exploits a model-driven optimization, which connects the physical
metasurfaces layer with modern visual computing approaches based on end-to-end
training. We design and implement a prototype version of Hyplex and compare its
performance against the state-of-the-art for typical imaging tasks such as
spectral reconstruction and semantic segmentation. In all benchmarks, Hyplex
reports the smallest reconstruction error. We additionally present what is, to
the best of our knowledge, the largest publicly available labeled hyperspectral
dataset for semantic segmentation.
- Abstract(参考訳): ハイパースペクトラルイメージングは、コンピュータビジョンにおける画像分類と自動パターン認識のためのスペクトルシグネチャを特定することに大きな注目を集めている。
スナップショットハイパースペクトルイメージングの現在の実装は、レンズ、分光計、フィルターを含む、かさばる、非統合的で高価な光学素子に依存している。
これらのマクロコンポーネントは、リアルタイムおよび高解像度ビデオなどの高速データ処理を許可しない。
上述した制限に対処する新しい統合アーキテクチャであるHyplexを紹介する。
HyplexはCMOS互換の高速ハイパースペクトルカメラで、バルク光学をナノスケールのメタ曲面に置き換える。
ハイプレックスは分光計を必要とせず、従来のモノクロカメラを使用し、安価でリアルタイムかつ高解像度のハイパースペクトルイメージングの可能性を開く。
Hyplexはモデル駆動最適化を利用して、物理的なメタ曲面層と、エンドツーエンドのトレーニングに基づく現代的なビジュアルコンピューティングアプローチを接続する。
我々はHyplexのプロトタイプを設計、実装し、スペクトル再構成やセマンティックセグメンテーションといった典型的な画像処理の最先端技術と比較する。
すべてのベンチマークにおいて、Hyplexは最小の再構成エラーを報告している。
さらに、私たちの知る限り、セマンティックセグメンテーションのための最大の公開ラベル付きハイパースペクトルデータセットを提示します。
関連論文リスト
- Locality-Aware Hyperspectral Classification [8.737375836744933]
本稿では,局所情報とスペクトル情報の両方をモデル化した視覚変換器であるHyperspectral Locality-aware Image TransformEr(HyLITE)を紹介する。
提案手法は, 競合するベースラインを高いマージンで上回り, 最大10%の精度向上を実現している。
論文 参考訳(メタデータ) (2023-09-04T12:29:32Z) - Semantic-aware Texture-Structure Feature Collaboration for Underwater
Image Enhancement [58.075720488942125]
水中画像の強調は海洋工学や水生ロボット工学において重要な技術として注目されている。
我々は,高レベルな意味認識事前学習モデルと協調して,効率的でコンパクトな拡張ネットワークを開発する。
また,提案手法を水中の有意な物体検出タスクに適用し,高レベルの視覚タスクに適した意味認識能力を明らかにする。
論文 参考訳(メタデータ) (2022-11-19T07:50:34Z) - On the Effect of Pre-Processing and Model Complexity for Plastic
Analysis Using Short-Wave-Infrared Hyper-Spectral Imaging [0.11083289076967892]
コンピュータビジョンとディープラーニングは、プラスチックの短波長赤外線ハイパースペクトル画像の自動解析を可能にする。
本稿では,超スペクトル画像分割の課題を解決するために,効率的なモデル選択の重要性を示す。
4種類のポリマーからなるプラスチックフレークの最大,最も多用途な超スペクトルデータセットについて紹介する。
論文 参考訳(メタデータ) (2022-03-21T11:19:11Z) - HerosNet: Hyperspectral Explicable Reconstruction and Optimal Sampling
Deep Network for Snapshot Compressive Imaging [41.91463343106411]
ハイパースペクトルイメージングは、特にリモートセンシング、農業、医学において、幅広い用途に欠かせない画像モダリティである。
低予算のスナップショット測定からハイパスペクトル画像(HSI)を再構築する、遅い、高価、またはかさばる既存のハイパースペクトルカメラにインスパイアされたことが注目されている。
スペクトルスナップショットセンシング(SCI)のための最近のディープ・アンフォールディング・ネットワーク(DUN)は、目覚ましい成功を収めている。
本稿では、ISTAアンフォールディングフレームワークの下で複数のフェーズを含むHerosNetと呼ばれる、SCIのためのハイパースペクトル拡張型再構成と最適サンプリングディープネットワークを提案する。
論文 参考訳(メタデータ) (2021-12-12T13:42:49Z) - Video Coding for Machine: Compact Visual Representation Compression for
Intelligent Collaborative Analytics [101.35754364753409]
Video Coding for Machines (VCM) は、ビデオ/画像圧縮と特徴圧縮をある程度別々の研究トラックにブリッジすることを約束している。
本稿では,既存の学術・産業活動に基づくVCM方法論と哲学を要約する。
論文 参考訳(メタデータ) (2021-10-18T12:42:13Z) - Deep Learning Approach for Hyperspectral Image Demosaicking, Spectral
Correction and High-resolution RGB Reconstruction [3.0478210530038443]
教師付き学習手法を用いたハイパースペクトル画像のスナップショット化のための深層学習に基づく画像復号アルゴリズムを提案する。
医用画像が公開されていないため,既存の医用画像データセットからのスナップショット画像をシミュレートする合成画像生成手法が提案されている。
得られたデシック画像は定量的かつ質的に評価され、画像品質の明確な改善が示される。
論文 参考訳(メタデータ) (2021-09-03T09:50:03Z) - Searching for Efficient Architecture for Instrument Segmentation in
Robotic Surgery [58.63306322525082]
ほとんどのアプリケーションは、高解像度の外科画像の正確なリアルタイムセグメンテーションに依存している。
我々は,高解像度画像のリアルタイム推論を行うために調整された,軽量で高効率なディープ残差アーキテクチャを設計する。
論文 参考訳(メタデータ) (2020-07-08T21:38:29Z) - Spectral DiffuserCam: lensless snapshot hyperspectral imaging with a
spectral filter array [1.6058099298620423]
ハイパースペクトルイメージングは、医学診断から農業作物のモニタリングまで幅広い応用に有用である。
従来のハイパースペクトル画像装置は、広く採用されるには、明らかに遅くて高価である。
ハイパースペクトルイメージングのためのコンパクトでコンパクトで安価なカメラを提案する。
論文 参考訳(メタデータ) (2020-06-15T17:31:17Z) - Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral
Imagery [79.69449412334188]
本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。
本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。
実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
論文 参考訳(メタデータ) (2020-05-18T14:25:50Z) - Towards Coding for Human and Machine Vision: A Scalable Image Coding
Approach [104.02201472370801]
圧縮モデルと生成モデルの両方を活用することにより,新しい画像符号化フレームワークを考案した。
高度な生成モデルを導入することで、コンパクトな特徴表現と参照画素から画像を再構成するフレキシブルネットワークを訓練する。
実験により、人間の視覚的品質と顔のランドマーク検出の両方において、我々の枠組みが優れていることが示された。
論文 参考訳(メタデータ) (2020-01-09T10:37:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。