論文の概要: Hyperspectral Demosaicing of Snapshot Camera Images Using Deep Learning
- arxiv url: http://arxiv.org/abs/2211.15435v1
- Date: Mon, 21 Nov 2022 11:55:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-04 14:00:36.178092
- Title: Hyperspectral Demosaicing of Snapshot Camera Images Using Deep Learning
- Title(参考訳): 深層学習を用いたスナップショットカメラ画像のハイパースペクトル復調
- Authors: Eric L. Wisotzky and Charul Daudkhane and Anna Hilsmann and Peter
Eisert
- Abstract要約: ハイパースペクトルイメージングのためのシングルカメラワンショット技術により、複数のスペクトルバンドを同時にキャプチャすることができる。
近年のアプローチでは、画像データから直接情報を取り出すことができるニューラルネットワークが採用されている。
この研究は、新しい基底真理データセットに基づいてトレーニングされた並列ニューラルネットワークに基づく復調手順を提案する。
- 参考スコア(独自算出の注目度): 1.8581514902689347
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Spectral imaging technologies have rapidly evolved during the past decades.
The recent development of single-camera-one-shot techniques for hyperspectral
imaging allows multiple spectral bands to be captured simultaneously (3x3, 4x4
or 5x5 mosaic), opening up a wide range of applications. Examples include
intraoperative imaging, agricultural field inspection and food quality
assessment. To capture images across a wide spectrum range, i.e. to achieve
high spectral resolution, the sensor design sacrifices spatial resolution. With
increasing mosaic size, this effect becomes increasingly detrimental.
Furthermore, demosaicing is challenging. Without incorporating edge, shape, and
object information during interpolation, chromatic artifacts are likely to
appear in the obtained images. Recent approaches use neural networks for
demosaicing, enabling direct information extraction from image data. However,
obtaining training data for these approaches poses a challenge as well. This
work proposes a parallel neural network based demosaicing procedure trained on
a new ground truth dataset captured in a controlled environment by a
hyperspectral snapshot camera with a 4x4 mosaic pattern. The dataset is a
combination of real captured scenes with images from publicly available data
adapted to the 4x4 mosaic pattern. To obtain real world ground-truth data, we
performed multiple camera captures with 1-pixel shifts in order to compose the
entire data cube. Experiments show that the proposed network outperforms
state-of-art networks.
- Abstract(参考訳): 分光イメージング技術はこの数十年間で急速に進化してきた。
近年のハイパースペクトラルイメージングのためのシングルカメラワンショット技術の開発により、複数のスペクトル帯を同時に捉えることができる(3x3、4x4、または5x5モザイク)。
例えば、術中イメージング、農業現場検査、食品品質評価などがある。
広帯域の画像、すなわち高スペクトル分解能を実現するために、センサー設計は空間分解能を犠牲にする。
モザイクのサイズが大きくなると、この効果はますます有害になる。
さらに、デモの実施も難しい。
補間中にエッジ, 形状, 対象情報を組み込まずに, 得られた画像に彩色人工物が現れる可能性が高い。
近年のアプローチでは、画像データから直接情報を取り出すことができるニューラルネットワークが採用されている。
しかし、これらのアプローチのトレーニングデータを取得することも課題となる。
本研究は, 4x4モザイクパターンのハイパースペクトルスナップショットカメラを用いて, 制御環境下で取得した新たな真実データセットに基づいて, 並列ニューラルネットワークに基づく復調手順を提案する。
データセットは、実際のキャプチャされたシーンと、4x4モザイクパターンに適合した公開データの画像の組み合わせである。
実世界の地表面データを得るために,データキューブ全体を構成するために1ピクセルシフトのカメラ撮影を行った。
実験の結果,提案したネットワークは最先端ネットワークよりも優れていた。
関連論文リスト
- Bracketing is All You Need: Unifying Image Restoration and Enhancement
Tasks with Multi-Exposure Images [54.52482239188794]
本稿では,ブラケット写真を利用して修復作業と強化作業を統合することを提案する。
実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。
特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
論文 参考訳(メタデータ) (2024-01-01T14:14:35Z) - Neural Spline Fields for Burst Image Fusion and Layer Separation [40.9442467471977]
ニューラルスプライン場を用いた2層α合成画像とフローモデルを用いた多目的中間表現を提案する。
提案手法では, バースト画像を高分解能な再構成に融合し, 透過層と閉塞層に分解することができる。
後処理のステップや事前学習がないため、当社の一般化可能なモデルは、既存の専用イメージやマルチビューの障害物除去アプローチよりも優れています。
論文 参考訳(メタデータ) (2023-12-21T18:54:19Z) - RADiff: Controllable Diffusion Models for Radio Astronomical Maps
Generation [6.128112213696457]
RADiffは、注釈付き無線データセット上でトレーニングされた条件拡散モデルに基づく生成的アプローチである。
完全合成画像アノテーションペアを生成して,任意のアノテートデータセットを自動的に拡張できることを示す。
論文 参考訳(メタデータ) (2023-07-05T16:04:44Z) - Towards Efficient and Scale-Robust Ultra-High-Definition Image
Demoireing [71.62289021118983]
本研究では、4Kモアレ画像に対処する効率的なベースラインモデルESDNetを提案する。
我々の手法は、より軽量でありながら、最先端の手法よりも大きなマージンで優れています。
論文 参考訳(メタデータ) (2022-07-20T14:20:52Z) - Stereo Matching by Self-supervision of Multiscopic Vision [65.38359887232025]
カメラ位置の整列で撮影した複数の画像を利用したステレオマッチングのための新しい自己監視フレームワークを提案する。
ネットワークを最適化するために、クロスフォトメトリックロス、不確実性を認識した相互監督損失、および新しい平滑性損失が導入されます。
我々のモデルは、KITTIデータセット上の以前の教師なし手法よりも、より良い不均一性マップを得る。
論文 参考訳(メタデータ) (2021-04-09T02:58:59Z) - Exploiting Raw Images for Real-Scene Super-Resolution [105.18021110372133]
本稿では,合成データと実撮影画像とのギャップを埋めるために,実シーンにおける単一画像の超解像化の問題について検討する。
本稿では,デジタルカメラの撮像過程を模倣して,よりリアルなトレーニングデータを生成する手法を提案する。
また、原画像に記録された放射情報を活用するために、2分岐畳み込みニューラルネットワークを開発した。
論文 参考訳(メタデータ) (2021-02-02T16:10:15Z) - AS-Net: Fast Photoacoustic Reconstruction with Multi-feature Fusion from
Sparse Data [1.7237160821929758]
光音響イメージングは、従来の光学イメージング技術よりもはるかに大きな深さでの光吸収の高コントラスト画像を得ることができる。
本稿では,スパースPA生データをニューラルネットワークに適したものにするために,新しい信号処理手法を提案する。
次に,多機能核融合を用いたPA再構成のためのアテンションステアリングネットワーク(AS-Net)を提案する。
論文 参考訳(メタデータ) (2021-01-22T03:49:30Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-03-27T21:28:54Z) - Self-Supervised Linear Motion Deblurring [112.75317069916579]
深層畳み込みニューラルネットワークは、画像の劣化の最先端技術である。
本稿では,自己監督型動作遅延に対する識別可能なreblurモデルを提案する。
我々の実験は、自己監督された単一画像の劣化が本当に実現可能であることを実証した。
論文 参考訳(メタデータ) (2020-02-10T20:15:21Z) - Learning Hyperspectral Feature Extraction and Classification with
ResNeXt Network [2.9967206019304937]
ハイパースペクトル画像分類 (HSI) は標準的なリモートセンシングタスクであり、各画像ピクセルには地球表面の物理的土地被覆を示すラベルが与えられる。
ハイパースペクトル画像におけるスペクトルおよび空間的手がかりの両利用により,ハイパースペクトル画像分類における分類精度が向上した。
ハイパースペクトル画像から空間的およびスペクトル的手がかりを抽出するために3次元畳み込みニューラルネットワーク(3D-CNN)のみを使用すると、パラメータの爆発が起こり、計算コストが高くなる。
スペクトル空間情報をモデル化するための3次元畳み込みを利用したMixedSNと呼ばれるネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-02-07T01:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。