論文の概要: Limitations of Data-Driven Spectral Reconstruction -- An Optics-Aware
Analysis
- arxiv url: http://arxiv.org/abs/2401.03835v1
- Date: Mon, 8 Jan 2024 11:46:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 16:45:04.207811
- Title: Limitations of Data-Driven Spectral Reconstruction -- An Optics-Aware
Analysis
- Title(参考訳): データ駆動スペクトル再構成の限界 --光学的解析--
- Authors: Qiang Fu, Matheus Souza, Eunsue Choi, Suhyun Shin, Seung-Hwan Baek,
Wolfgang Heidrich
- Abstract要約: コスト効率のよいRGBカメラで撮影したRGB画像からスペクトル情報を抽出することを目的とした,データ駆動型スペクトル再構成の最近の取り組み。
我々は、現在のデータセットとオーバーフィッティングに関する実用的制限と、RGB画像に符号化された情報の性質に関する基本的な制限の両方を評価する。
- 参考スコア(独自算出の注目度): 23.39313515124504
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperspectral imaging empowers computer vision systems with the distinct
capability of identifying materials through recording their spectral
signatures. Recent efforts in data-driven spectral reconstruction aim at
extracting spectral information from RGB images captured by cost-effective RGB
cameras, instead of dedicated hardware.
In this paper we systematically analyze the performance of such methods,
evaluating both the practical limitations with respect to current datasets and
overfitting, as well as fundamental limits with respect to the nature of the
information encoded in the RGB images, and the dependency of this information
on the optical system of the camera.
We find that the current models are not robust under slight variations, e.g.,
in noise level or compression of the RGB file. Both the methods and the
datasets are also limited in their ability to cope with metameric colors. This
issue can in part be overcome with metameric data augmentation. Moreover,
optical lens aberrations can help to improve the encoding of the metameric
information into the RGB image, which paves the road towards higher performing
spectral imaging and reconstruction approaches.
- Abstract(参考訳): ハイパースペクトルイメージングは、スペクトルシグネチャを記録することで、物質を識別する能力を持つコンピュータビジョンシステムに権限を与える。
データ駆動型スペクトル再構成における最近の取り組みは、専用ハードウェアではなく、コスト効率の高いRGBカメラで撮影したRGB画像からスペクトル情報を抽出することを目的としている。
本稿では,RGB画像に符号化された情報の性質と,カメラの光学系における情報依存性に関する基礎的限界と,現行のデータセットと過適合性に関する実用的限界の両方を評価することによって,そのような手法の性能を体系的に解析する。
現在のモデルは、例えばノイズレベルやRGBファイルの圧縮など、わずかなバリエーションの下では堅牢ではない。
メソッドとデータセットはどちらも、メタメラ色に対処する能力に制限されている。
この問題はメタメリックデータ拡張によって部分的に克服できる。
さらに、光学レンズ収差は、RGB画像へのメタマー情報の符号化を改善するのに役立つ。
関連論文リスト
- AGG-Net: Attention Guided Gated-convolutional Network for Depth Image
Completion [1.8820731605557168]
注意誘導ゲート畳み込みネットワーク(AGG-Net)に基づく深度画像補完のための新しいモデルを提案する。
符号化段階では、異なるスケールでの深度と色の特徴の融合を実現するために、AG-GConvモジュールが提案されている。
復号段階では、アテンションガイドスキップ接続(AG-SC)モジュールが提示され、再構成にあまりにも多くの深度に関係のない特徴を導入することを避ける。
論文 参考訳(メタデータ) (2023-09-04T14:16:08Z) - Attentive Multimodal Fusion for Optical and Scene Flow [24.08052492109655]
既存の方法は通常、RGB画像のみに依存するか、後段のモダリティを融合させる。
本稿では,センサモード間の早期情報融合を可能にするFusionRAFTという新しいディープニューラルネットワーク手法を提案する。
提案手法は,RGB画像に影響を及ぼすノイズや低照度条件の存在下での堅牢性の向上を示す。
論文 参考訳(メタデータ) (2023-07-28T04:36:07Z) - Beyond Learned Metadata-based Raw Image Reconstruction [86.1667769209103]
生画像は、線形性や微細な量子化レベルなど、sRGB画像に対して明確な利点がある。
ストレージの要求が大きいため、一般ユーザからは広く採用されていない。
本稿では,メタデータとして,潜在空間におけるコンパクトな表現を学習する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-21T06:59:07Z) - Learning to Recover Spectral Reflectance from RGB Images [16.925196782387857]
RGB画像からのスペクトル反射率回復(SRR)は困難で費用がかかる。
既存のほとんどのアプローチは、合成画像に基づいて訓練され、見知らぬすべてのテスト画像に同じパラメータを使用する。
本稿では,訓練済みのネットワークパラメータを各テスト画像に微調整し,外部情報と内部情報を組み合わせた自己教師付きメタ補助学習(MAXL)戦略を提案する。
論文 参考訳(メタデータ) (2023-04-04T23:27:02Z) - Blind deblurring of hyperspectral document images [0.0]
マルチスペクトル(MS)とハイパースペクトル(HS)の画像は、RGB画像よりもはるかにリッチなスペクトル情報を含んでいる。
文書化に適した新しいブラインドHS画像デブロアリング手法を提案する。
論文 参考訳(メタデータ) (2023-03-09T09:31:13Z) - Reversed Image Signal Processing and RAW Reconstruction. AIM 2022
Challenge Report [109.2135194765743]
本稿では,AIM 2022 Challenge on Reversed Image Signal Processing and RAW Reconstructionを紹介する。
我々は,メタデータを使わずにRGBから生のセンサイメージを回収し,ISP変換を「逆」することを目的としている。
論文 参考訳(メタデータ) (2022-10-20T10:43:53Z) - Lightweight HDR Camera ISP for Robust Perception in Dynamic Illumination
Conditions via Fourier Adversarial Networks [35.532434169432776]
照明とノイズ除去の逐次的バランスをとる軽量な2段階画像強調アルゴリズムを提案する。
また、異なる照明条件下での一貫した画像強調のためのフーリエスペクトルベース対向フレームワーク(AFNet)を提案する。
また,定量的および定性的な評価に基づいて,画像強調技術が共通認識タスクの性能に与える影響について検討した。
論文 参考訳(メタデータ) (2022-04-04T18:48:51Z) - Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB
Images in the Wild [48.44194221801609]
この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。
我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。
提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
論文 参考訳(メタデータ) (2021-08-15T05:19:44Z) - Wavelet-Based Network For High Dynamic Range Imaging [64.66969585951207]
光学フローベースやエンド・ツー・エンドのディープラーニングベースのソリューションのような既存の方法は、詳細な復元やゴーストを除去する際にエラーを起こしやすい。
本研究では、周波数領域でHDR融合を行うための新しい周波数誘導型エンド・ツー・エンドディープニューラルネットワーク(FNet)を提案し、ウェーブレット変換(DWT)を用いて入力を異なる周波数帯域に分解する。
低周波信号は特定のゴーストアーティファクトを避けるために使用され、高周波信号は詳細を保存するために使用される。
論文 参考訳(メタデータ) (2021-08-03T12:26:33Z) - Tuning IR-cut Filter for Illumination-aware Spectral Reconstruction from
RGB [84.1657998542458]
再現精度は、使用中のRGBカメラのスペクトル応答に大きく依存していることが証明されている。
本稿では,既存のrgbカメラのフィルタアレイに基づくカラーイメージング機構を調査し,irカットフィルタの設計方法を提案する。
論文 参考訳(メタデータ) (2021-03-26T19:42:21Z) - NTIRE 2020 Challenge on Spectral Reconstruction from an RGB Image [61.71186808848108]
本稿では,RGB画像からのスペクトル再構成に関する第2の課題についてレビューする。
3チャンネルのRGB画像から全シーンハイパースペクトル(HS)情報を復元する。
新しい、より大きく、自然なハイパースペクトル画像データセットが提示される。
論文 参考訳(メタデータ) (2020-05-07T12:23:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。