論文の概要: Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild

• arxiv url: http://arxiv.org/abs/2108.06659v2
• Date: Tue, 17 Aug 2021 03:36:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-18 13:31:27.888035
• Title: Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild
• Title（参考訳）: 野生における単一RGB画像からのセマンティック埋め込み型無監督スペクトル再構成
• Authors: Zhiyu Zhu, Hui Liu, Junhui Hou, Huanqiang Zeng, Qingfu Zhang
• Abstract要約: この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。 我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。 提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
• 参考スコア（独自算出の注目度）: 48.44194221801609
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the problem of reconstructing hyperspectral (HS) images from single RGB images captured by commercial cameras, \textbf{without} using paired HS and RGB images during training. To tackle this challenge, we propose a new lightweight and end-to-end learning-based framework. Specifically, on the basis of the intrinsic imaging degradation model of RGB images from HS images, we progressively spread the differences between input RGB images and re-projected RGB images from recovered HS images via effective unsupervised camera spectral response function estimation. To enable the learning without paired ground-truth HS images as supervision, we adopt the adversarial learning manner and boost it with a simple yet effective $\mathcal{L}_1$ gradient clipping scheme. Besides, we embed the semantic information of input RGB images to locally regularize the unsupervised learning, which is expected to promote pixels with identical semantics to have consistent spectral signatures. In addition to conducting quantitative experiments over two widely-used datasets for HS image reconstruction from synthetic RGB images, we also evaluate our method by applying recovered HS images from real RGB images to HS-based visual tracking. Extensive results show that our method significantly outperforms state-of-the-art unsupervised methods and even exceeds the latest supervised method under some settings. The source code is public available at https://github.com/zbzhzhy/Unsupervised-Spectral-Reconstruction.
• Abstract（参考訳）: 本稿では,商用カメラで撮影した1枚のRGB画像からハイパースペクトル(HS)画像を再構成する際の問題点について検討する。 この課題に取り組むために,我々は新しい軽量かつエンドツーエンドの学習ベースフレームワークを提案する。 具体的には、HS画像からのRGB画像の本質的な画像劣化モデルに基づいて、効率的なカメラスペクトル応答関数推定により、HS画像から入力されたRGB画像と再投影されたRGB画像との差を徐々に広げる。 接地hs画像を監督することなく学習を可能にするために, 逆学習方式を採用し, 簡便かつ効果的な$\mathcal{l}_1$勾配クリッピング方式で学習を促進させる。 さらに、入力されたRGB画像の意味情報を埋め込み、教師なし学習を局所的に正規化する。 合成RGB画像からのHS画像再構成のために広く利用されている2つのデータセットの定量的実験に加えて,実RGB画像から復元されたHS画像をHSベースの視覚追跡に適用することにより,本手法の評価を行った。 その結果,提案手法は最先端の教師なし手法よりも優れており,一部の設定下では最新の教師付き手法よりも優れていた。 ソースコードはhttps://github.com/zbzhzhy/Unsupervised-Spectral-Reconstructionで公開されている。

関連論文リスト

• A Learnable Color Correction Matrix for RAW Reconstruction [19.394856071610604]
  複雑な逆画像信号処理装置(ISP)を近似する学習可能な色補正行列(CCM)を導入する。 実験結果から,本手法で生成したRAW(simRAW)画像は,より複雑な逆ISP法で生成した画像と同等の性能向上が得られた。
  論文  参考訳（メタデータ） (2024-09-04T07:46:42Z)
• Modular Anti-noise Deep Learning Network for Robotic Grasp Detection Based on RGB Images [2.759223695383734]
  本稿では,単一のRGB画像からつかむポーズを検出するための興味深いアプローチを提案する。 本稿では,認識とセマンティックセグメンテーションを付加したモジュール型学習ネットワークを提案する。 提案手法の有効性と精度を,実践的な実験と評価を通じて実証する。
  論文  参考訳（メタデータ） (2023-10-30T02:01:49Z)
• Symmetric Uncertainty-Aware Feature Transmission for Depth Super-Resolution [52.582632746409665]
  カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。 本手法は最先端の手法と比較して優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-06-01T06:35:59Z)
• Learning to Recover Spectral Reflectance from RGB Images [20.260831758913902]
  RGB画像からのスペクトル反射率回復(SRR)は困難で費用がかかる。 既存のほとんどのアプローチは、合成画像に基づいて訓練され、見知らぬすべてのテスト画像に同じパラメータを使用する。 本稿では,訓練済みのネットワークパラメータを各テスト画像に微調整し,外部情報と内部情報を組み合わせた自己教師付きメタ補助学習(MAXL)戦略を提案する。
  論文  参考訳（メタデータ） (2023-04-04T23:27:02Z)
• Raw Image Reconstruction with Learned Compact Metadata [61.62454853089346]
  本稿では,メタデータとしての潜在空間におけるコンパクトな表現をエンドツーエンドで学習するための新しいフレームワークを提案する。 提案する生画像圧縮方式は,グローバルな視点から重要な画像領域に適応的により多くのビットを割り当てることができることを示す。
  論文  参考訳（メタデータ） (2023-02-25T05:29:45Z)
• Boosting RGB-D Saliency Detection by Leveraging Unlabeled RGB Images [89.81919625224103]
  RGB-D Salient Object Detection (SOD) のための深層モデルの訓練は、しばしば多数のラベル付きRGB-D画像を必要とする。 本稿では、ラベルのないRGB画像を活用するために、Dual-Semi RGB-D Salient Object Detection Network (DS-Net)を提案する。
  論文  参考訳（メタデータ） (2022-01-01T03:02:27Z)
• Learning RAW-to-sRGB Mappings with Inaccurately Aligned Supervision [76.41657124981549]
  本稿では,画像アライメントとRAW-to-sRGBマッピングのための共同学習モデルを提案する。 実験の結果,本手法はZRRおよびSR-RAWデータセットの最先端に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2021-08-18T12:41:36Z)
• Hierarchical Regression Network for Spectral Reconstruction from RGB Images [21.551899202524904]
  我々は,PixelShuffle層を用いた4レベル階層回帰ネットワーク(HRNet)を階層間相互作用として提案する。 NTIRE 2020 Challenge on Spectral Reconstruction from RGB Images に参加して,他のアーキテクチャや技術を用いたHRNetの評価を行った。
  論文  参考訳（メタデータ） (2020-05-10T16:06:11Z)
• NTIRE 2020 Challenge on Spectral Reconstruction from an RGB Image [61.71186808848108]
  本稿では,RGB画像からのスペクトル再構成に関する第2の課題についてレビューする。 3チャンネルのRGB画像から全シーンハイパースペクトル(HS)情報を復元する。 新しい、より大きく、自然なハイパースペクトル画像データセットが提示される。
  論文  参考訳（メタデータ） (2020-05-07T12:23:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。