論文の概要: Limitations of Data-Driven Spectral Reconstruction -- Optics-Aware Analysis and Mitigation

• arxiv url: http://arxiv.org/abs/2401.03835v2
• Date: Tue, 2 Apr 2024 18:26:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-04-04 16:30:45.373019
• Title: Limitations of Data-Driven Spectral Reconstruction -- Optics-Aware Analysis and Mitigation
• Title（参考訳）: データ駆動スペクトル再構成の限界 -光学的解析と緩和-
• Authors: Qiang Fu, Matheus Souza, Eunsue Choi, Suhyun Shin, Seung-Hwan Baek, Wolfgang Heidrich,
• Abstract要約: コスト効率のよいRGBカメラで撮影したRGB画像からスペクトル情報を抽出することを目的とした,データ駆動型スペクトル再構成の最近の取り組み。 我々は、現在のデータセットとオーバーフィッティングに関する実用的制限と、RGB画像に符号化された情報の性質に関する基本的な制限の両方を評価する。 本稿では,メタデータデータ拡張と光学レンズ収差の組み合わせを利用して,RGB画像へのメタデータ情報の符号化を改善することを提案する。
• 参考スコア（独自算出の注目度）: 22.07699685165064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperspectral imaging empowers machine vision systems with the distinct capability of identifying materials through recording their spectral signatures. Recent efforts in data-driven spectral reconstruction aim at extracting spectral information from RGB images captured by cost-effective RGB cameras, instead of dedicated hardware. In this paper we systematically analyze the performance of such methods, evaluating both the practical limitations with respect to current datasets and overfitting, as well as fundamental limitations with respect to the nature of the information encoded in the RGB images, and the dependency of this information on the optical system of the camera. We find that, the current models are not robust under slight variations, e.g., in noise level or compression of the RGB file. Without modeling underrepresented spectral content, existing datasets and the models trained on them are limited in their ability to cope with challenging metameric colors. To mitigate this issue, we propose to exploit the combination of metameric data augmentation and optical lens aberrations to improve the encoding of the metameric information into the RGB image, which paves the road towards higher performing spectral imaging and reconstruction approaches.
• Abstract（参考訳）: ハイパースペクトルイメージングは、スペクトルシグネチャを記録することで、材料を識別する能力を持つマシンビジョンシステムに権限を与える。 データ駆動型スペクトル再構成における最近の取り組みは、専用ハードウェアではなく、費用対効果の高いRGBカメラで捉えたRGB画像からスペクトル情報を抽出することを目的としている。 本稿では,RGB画像に符号化された情報の性質と,カメラの光学系における情報依存性に関する基本的制約だけでなく,現在のデータセットとオーバーフィットに関する実用的制限も評価し,そのような手法の性能を体系的に解析する。 その結果、現在のモデルは、例えばノイズレベルやRGBファイルの圧縮において、わずかな変動の下では堅牢ではないことがわかった。 未表現のスペクトルコンテンツをモデル化しなければ、既存のデータセットとそれらに基づいてトレーニングされたモデルは、挑戦的なメタマーカラーに対処する能力に制限される。 この問題を軽減するために,RGB画像へのメタマー情報の符号化を改善するために,メタマーデータ拡張と光学レンズ収差の組合せを活用することを提案する。

関連論文リスト

• Leveraging Multispectral Sensors for Color Correction in Mobile Cameras [22.93423876118074]
  スナップショットマルチスペクトル(MS)イメージングの最近の進歩は、小型で低コストな分光センサを消費者やモバイルデバイス向けに実現している。 エンド・ツー・エンドの色補正を行う統合学習ベースのフレームワークを提案する。 提案手法は,RGBのみのベースラインやMS駆動ベースラインと比較して,誤差を最大50%低減する。
  論文  参考訳（メタデータ） (2025-12-09T10:14:13Z)
• IrisNet: Infrared Image Status Awareness Meta Decoder for Infrared Small Targets Detection [92.56025546608699]
  IrisNetは、入力赤外線画像ステータスに検出戦略を適用する、新しいメタ学習フレームワークである。 提案手法は,赤外線画像特徴量とデコーダパラメータ全体の動的マッピングを確立する。 NUDT-SIRST、NUAA-SIRST、IRSTD-1Kデータセットの実験は、我々のIrisNetの優位性を示している。
  論文  参考訳（メタデータ） (2025-11-25T13:53:54Z)
• MTSIC: Multi-stage Transformer-based GAN for Spectral Infrared Image Colorization [26.33768545616346]
  既存のカラー化手法は、スペクトル情報に制限があり、特徴抽出能力が不十分なシングルバンド画像に依存している。 本稿では、スペクトル情報を統合し、赤外線画像のカラー化を強化するために、GAN(Generative Adversarial Network)ベースのフレームワークを提案する。 実験の結果,提案手法は従来の手法よりも優れ,赤外線画像の視覚的品質を効果的に向上させることがわかった。
  論文  参考訳（メタデータ） (2025-06-21T01:42:25Z)
• Spectral-Aware Global Fusion for RGB-Thermal Semantic Segmentation [10.761216101789774]
  マルチモーダル機能の強化と融合を図るため,SGFNet(Spectral-aware Global Fusion Network)を提案する。 SGFNetは、MFNetとPST900データセットの最先端メソッドよりも優れている。
  論文  参考訳（メタデータ） (2025-05-21T13:17:57Z)
• AuxDet: Auxiliary Metadata Matters for Omni-Domain Infrared Small Target Detection [49.81255045696323]
  補助メタデータ駆動型赤外小型ターゲット検出器(AuxDet)について述べる。 AuxDetはメタデータセマンティクスと視覚的特徴を統合し、各サンプルに対する適応表現学習を導く。 挑戦的なWideIRSTD-Fullベンチマークの実験は、AuxDetが一貫して最先端のメソッドより優れていることを示した。
  論文  参考訳（メタデータ） (2025-05-21T07:02:05Z)
• CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis [75.25966323298003]
  スペクトルイメージングは、医療や都市景観の理解など、様々な領域で有望な応用を提供する。 スペクトルカメラのチャネル次元と捕獲波長のばらつきは、AI駆動方式の開発を妨げる。 我々は、$textbfC$amera-$textbfA$gnostic $textbfR$esupervised $textbfL$のモデルである$textbfCARL$を紹介した。
  論文  参考訳（メタデータ） (2025-04-27T13:06:40Z)
• ContextMRI: Enhancing Compressed Sensing MRI through Metadata Conditioning [51.26601171361753]
  本稿では, 微細なメタデータを再構成プロセスに統合したMRI用テキスト条件拡散モデルであるContextMRIを提案する。 メタデータの忠実度はスライス位置やコントラストから患者年齢、性別、病理まで増加し、体系的に再構築性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-01-08T05:15:43Z)
• Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution [54.293362972473595]
  画像超解像(SR)は、高解像度(HR)画像を低解像度(LR)画像から再構成することを目的としている。 SRタスクに対処する現在のアプローチは、RGB画像の特徴を抽出するか、同様の劣化パターンを仮定するものである。 スペクトル分布の忠実さを保ちつつ、赤外線変調特性を復元するコントゥーレット改質ゲートフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-19T14:24:03Z)
• Joint RGB-Spectral Decomposition Model Guided Image Enhancement in Mobile Photography [36.4031416416813]
  拡張を導いたRGBスペクトル分解モデルを提案する。 我々は,RGBと低分解能マルチスペクトル画像(Lr-MSI)のセナリティを活用し,シェーディング,反射率,物質意味の先行を予測した。 これらの事前情報は、ダイナミックレンジ拡張、カラーマッピング、グリッドエキスパート学習を促進するために、確立されたHDRNetにシームレスに統合される。
  論文  参考訳（メタデータ） (2024-07-25T12:43:41Z)
• Hyperspectral Dataset and Deep Learning methods for Waste from Electric and Electronic Equipment Identification (WEEE) [0.0]
  ハイパースペクトル画像分割のための多種多様なディープラーニングアーキテクチャの性能を評価する。 その結果,空間情報をスペクトルデータと組み合わせることで,セグメンテーション結果が改善された。 我々は、Tecnalia WEEE Hyperspectralデータセットのクリーニングと公開によって、この分野に貢献する。
  論文  参考訳（メタデータ） (2024-07-05T13:45:11Z)
• NIR-Assisted Image Denoising: A Selective Fusion Approach and A Real-World Benchmark Dataset [53.79524776100983]
  近赤外(NIR)画像を活用して、視認可能なRGB画像の復調を支援することで、この問題に対処する可能性を示している。 既存の作品では、NIR情報を効果的に活用して現実のイメージを飾ることに苦戦している。 先進デノナイジングネットワークにプラグイン・アンド・プレイ可能な効率的な選択核融合モジュール(SFM)を提案する。
  論文  参考訳（メタデータ） (2024-04-12T14:54:26Z)
• CodeEnhance: A Codebook-Driven Approach for Low-Light Image Enhancement [97.95330185793358]
  低照度画像強調(LLIE)は、低照度画像を改善することを目的としている。 既存の手法では、様々な明るさ劣化からの回復の不確実性と、テクスチャと色情報の喪失という2つの課題に直面している。 我々は、量子化された先行値と画像の精細化を利用して、新しいエンハンスメント手法、CodeEnhanceを提案する。
  論文  参考訳（メタデータ） (2024-04-08T07:34:39Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)
• Tensor Factorization for Leveraging Cross-Modal Knowledge in Data-Constrained Infrared Object Detection [22.60228799622782]
  赤外線画像における物体検出のボトルネックは、十分なラベル付きトレーニングデータがないことである。 我々は、RGBモードにおけるモデル性能を保ちながら、RGBモードからオブジェクト検出器をIRモードにスケールするために、RGBモードからの手がかりを活用しようとしている。 まず、これらの因子行列をRGBモードで事前トレーニングし、多くのトレーニングデータが存在すると仮定した後、IRモードでトレーニングするためのトレーニング可能なパラメータをわずかに増やして過度な適合を避ける。
  論文  参考訳（メタデータ） (2023-09-28T16:55:52Z)
• Attentive Multimodal Fusion for Optical and Scene Flow [24.08052492109655]
  既存の方法は通常、RGB画像のみに依存するか、後段のモダリティを融合させる。 本稿では,センサモード間の早期情報融合を可能にするFusionRAFTという新しいディープニューラルネットワーク手法を提案する。 提案手法は,RGB画像に影響を及ぼすノイズや低照度条件の存在下での堅牢性の向上を示す。
  論文  参考訳（メタデータ） (2023-07-28T04:36:07Z)
• MatSpectNet: Material Segmentation Network with Domain-Aware and Physically-Constrained Hyperspectral Reconstruction [13.451692195639696]
  MatSpectNetは、RGB画像から回復したハイパースペクトル画像で材料を分割する新しいモデルである。 現代のカメラにおける色知覚の原理を利用して、再構成されたハイパースペクトル画像を制限する。 平均ピクセル精度は1.60%増加し、最新の出版物と比べて平均クラス精度は3.42%改善している。
  論文  参考訳（メタデータ） (2023-07-21T10:02:02Z)
• Learning to Recover Spectral Reflectance from RGB Images [20.260831758913902]
  RGB画像からのスペクトル反射率回復(SRR)は困難で費用がかかる。 既存のほとんどのアプローチは、合成画像に基づいて訓練され、見知らぬすべてのテスト画像に同じパラメータを使用する。 本稿では,訓練済みのネットワークパラメータを各テスト画像に微調整し,外部情報と内部情報を組み合わせた自己教師付きメタ補助学習(MAXL)戦略を提案する。
  論文  参考訳（メタデータ） (2023-04-04T23:27:02Z)
• Reversed Image Signal Processing and RAW Reconstruction. AIM 2022 Challenge Report [109.2135194765743]
  本稿では,AIM 2022 Challenge on Reversed Image Signal Processing and RAW Reconstructionを紹介する。 我々は,メタデータを使わずにRGBから生のセンサイメージを回収し,ISP変換を「逆」することを目的としている。
  論文  参考訳（メタデータ） (2022-10-20T10:43:53Z)
• Lightweight HDR Camera ISP for Robust Perception in Dynamic Illumination Conditions via Fourier Adversarial Networks [35.532434169432776]
  照明とノイズ除去の逐次的バランスをとる軽量な2段階画像強調アルゴリズムを提案する。 また、異なる照明条件下での一貫した画像強調のためのフーリエスペクトルベース対向フレームワーク(AFNet)を提案する。 また,定量的および定性的な評価に基づいて,画像強調技術が共通認識タスクの性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2022-04-04T18:48:51Z)
• A Trainable Spectral-Spatial Sparse Coding Model for Hyperspectral Image Restoration [36.525810477650026]
  ハイパースペクトルイメージングは様々な用途に新しい視点を提供する。 地上に正確な「クリーン」ハイパースペクトル信号がないため、修復作業は困難である。 本稿では、疎結合な符号化原理に基づくハイブリッドアプローチを提唱する。
  論文  参考訳（メタデータ） (2021-11-18T14:16:04Z)
• Meta-UDA: Unsupervised Domain Adaptive Thermal Object Detection using Meta-Learning [64.92447072894055]
  赤外線(IR)カメラは、照明条件や照明条件が悪ければ頑丈である。 既存のUDA手法を改善するためのアルゴリズムメタ学習フレームワークを提案する。 KAISTおよびDSIACデータセットのための最先端熱検出器を作成した。
  論文  参考訳（メタデータ） (2021-10-07T02:28:18Z)
• Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild [48.44194221801609]
  この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。 我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。 提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
  論文  参考訳（メタデータ） (2021-08-15T05:19:44Z)
• Tuning IR-cut Filter for Illumination-aware Spectral Reconstruction from RGB [84.1657998542458]
  再現精度は、使用中のRGBカメラのスペクトル応答に大きく依存していることが証明されている。 本稿では,既存のrgbカメラのフィルタアレイに基づくカラーイメージング機構を調査し,irカットフィルタの設計方法を提案する。
  論文  参考訳（メタデータ） (2021-03-26T19:42:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。