論文の概要: Hyperspectral Demosaicing of Snapshot Camera Images Using Deep Learning
- arxiv url: http://arxiv.org/abs/2211.15435v1
- Date: Mon, 21 Nov 2022 11:55:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-04 14:00:36.178092
- Title: Hyperspectral Demosaicing of Snapshot Camera Images Using Deep Learning
- Title（参考訳）: 深層学習を用いたスナップショットカメラ画像のハイパースペクトル復調
- Authors: Eric L. Wisotzky and Charul Daudkhane and Anna Hilsmann and Peter
Eisert
- Abstract要約: ハイパースペクトルイメージングのためのシングルカメラワンショット技術により、複数のスペクトルバンドを同時にキャプチャすることができる。
近年のアプローチでは、画像データから直接情報を取り出すことができるニューラルネットワークが採用されている。
この研究は、新しい基底真理データセットに基づいてトレーニングされた並列ニューラルネットワークに基づく復調手順を提案する。
- 参考スコア（独自算出の注目度）: 1.8581514902689347
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Spectral imaging technologies have rapidly evolved during the past decades.
The recent development of single-camera-one-shot techniques for hyperspectral
imaging allows multiple spectral bands to be captured simultaneously (3x3, 4x4
or 5x5 mosaic), opening up a wide range of applications. Examples include
intraoperative imaging, agricultural field inspection and food quality
assessment. To capture images across a wide spectrum range, i.e. to achieve
high spectral resolution, the sensor design sacrifices spatial resolution. With
increasing mosaic size, this effect becomes increasingly detrimental.
Furthermore, demosaicing is challenging. Without incorporating edge, shape, and
object information during interpolation, chromatic artifacts are likely to
appear in the obtained images. Recent approaches use neural networks for
demosaicing, enabling direct information extraction from image data. However,
obtaining training data for these approaches poses a challenge as well. This
work proposes a parallel neural network based demosaicing procedure trained on
a new ground truth dataset captured in a controlled environment by a
hyperspectral snapshot camera with a 4x4 mosaic pattern. The dataset is a
combination of real captured scenes with images from publicly available data
adapted to the 4x4 mosaic pattern. To obtain real world ground-truth data, we
performed multiple camera captures with 1-pixel shifts in order to compose the
entire data cube. Experiments show that the proposed network outperforms
state-of-art networks.
- Abstract（参考訳）: 分光イメージング技術はこの数十年間で急速に進化してきた。
近年のハイパースペクトラルイメージングのためのシングルカメラワンショット技術の開発により、複数のスペクトル帯を同時に捉えることができる(3x3、4x4、または5x5モザイク)。
例えば、術中イメージング、農業現場検査、食品品質評価などがある。
広帯域の画像、すなわち高スペクトル分解能を実現するために、センサー設計は空間分解能を犠牲にする。
モザイクのサイズが大きくなると、この効果はますます有害になる。
さらに、デモの実施も難しい。
補間中にエッジ, 形状, 対象情報を組み込まずに, 得られた画像に彩色人工物が現れる可能性が高い。
近年のアプローチでは、画像データから直接情報を取り出すことができるニューラルネットワークが採用されている。
しかし、これらのアプローチのトレーニングデータを取得することも課題となる。
本研究は, 4x4モザイクパターンのハイパースペクトルスナップショットカメラを用いて, 制御環境下で取得した新たな真実データセットに基づいて, 並列ニューラルネットワークに基づく復調手順を提案する。
データセットは、実際のキャプチャされたシーンと、4x4モザイクパターンに適合した公開データの画像の組み合わせである。
実世界の地表面データを得るために,データキューブ全体を構成するために1ピクセルシフトのカメラ撮影を行った。
実験の結果,提案したネットワークは最先端ネットワークよりも優れていた。
関連論文リスト
- GRAPE: Generalizable and Robust Multi-view Facial Capture [12.255610707737548]
ディープラーニングベースのマルチビュー顔キャプチャ手法は、従来のメッシュ登録パイプラインよりも数桁高速で、印象的な精度を示している。
本研究では,異なるカメラアレイ上での推論(すなわち,新しいデータをキャプチャする)に訓練されたモデルを容易に利用できるように,一般化能力を向上させることを目的とする。
FaMoSデータセットとFaceScapeデータセットの実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-07-14T13:24:17Z) - Diff-Mosaic: Augmenting Realistic Representations in Infrared Small Target Detection via Diffusion Prior [63.64088590653005]
本稿では拡散モデルに基づくデータ拡張手法であるDiff-Mosaicを提案する。
我々は,モザイク画像を高度に調整し,リアルな画像を生成するPixel-Priorという拡張ネットワークを導入する。
第2段階では,Diff-Prior という画像強調戦略を提案する。
論文 参考訳（メタデータ） (2024-06-02T06:23:05Z) - DiffCalib: Reformulating Monocular Camera Calibration as Diffusion-Based Dense Incident Map Generation [13.772897737616649]
我々は、事前学習した拡散モデルに埋め込まれた包括的視覚知識を活用し、より堅牢で正確な単眼カメラ固有の推定を可能にする。
本モデルでは, 予測誤差を最大40%低減し, 最先端性能を実現する。
論文 参考訳（メタデータ） (2024-05-24T15:05:04Z) - Experimental Validation of Ultrasound Beamforming with End-to-End Deep Learning for Single Plane Wave Imaging [0.810120481608724]
超高速超音波イメージングは、多くの集束波ではなく、異なるビームステアリング角度で複数の平面波の1つまたは1つの組み合わせで媒体を照射する。
深層学習アプローチは、特に単一平面波のイメージングにおいて、この欠点を軽減するために提案されている。
本稿では,従来の画像形成手法を取り入れたデータ・ツー・イメージ・ネットワークを,ネットワークアーキテクチャにおける識別可能なレイヤとして検討する。
論文 参考訳（メタデータ） (2024-04-22T13:58:36Z) - Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks [50.822601495422916]
本稿では,露光ブラケット写真を利用して画像復元と拡張作業を統合することを提案する。
実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。
特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
論文 参考訳（メタデータ） (2024-01-01T14:14:35Z) - RADiff: Controllable Diffusion Models for Radio Astronomical Maps
Generation [6.128112213696457]
RADiffは、注釈付き無線データセット上でトレーニングされた条件拡散モデルに基づく生成的アプローチである。
完全合成画像アノテーションペアを生成して,任意のアノテートデータセットを自動的に拡張できることを示す。
論文 参考訳（メタデータ） (2023-07-05T16:04:44Z) - Towards Efficient and Scale-Robust Ultra-High-Definition Image
Demoireing [71.62289021118983]
本研究では、4Kモアレ画像に対処する効率的なベースラインモデルESDNetを提案する。
我々の手法は、より軽量でありながら、最先端の手法よりも大きなマージンで優れています。
論文 参考訳（メタデータ） (2022-07-20T14:20:52Z) - Stereo Matching by Self-supervision of Multiscopic Vision [65.38359887232025]
カメラ位置の整列で撮影した複数の画像を利用したステレオマッチングのための新しい自己監視フレームワークを提案する。
ネットワークを最適化するために、クロスフォトメトリックロス、不確実性を認識した相互監督損失、および新しい平滑性損失が導入されます。
我々のモデルは、KITTIデータセット上の以前の教師なし手法よりも、より良い不均一性マップを得る。
論文 参考訳（メタデータ） (2021-04-09T02:58:59Z) - Exploiting Raw Images for Real-Scene Super-Resolution [105.18021110372133]
本稿では,合成データと実撮影画像とのギャップを埋めるために,実シーンにおける単一画像の超解像化の問題について検討する。
本稿では,デジタルカメラの撮像過程を模倣して,よりリアルなトレーニングデータを生成する手法を提案する。
また、原画像に記録された放射情報を活用するために、2分岐畳み込みニューラルネットワークを開発した。
論文 参考訳（メタデータ） (2021-02-02T16:10:15Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。