Fugu-MT 論文翻訳(概要): Learning to Recover Spectral Reflectance from RGB Images

論文の概要: Learning to Recover Spectral Reflectance from RGB Images

arxiv url: http://arxiv.org/abs/2304.02162v2
Date: Tue, 23 Apr 2024 01:48:32 GMT
ステータス: 処理完了
システム内更新日: 2024-04-24 20:24:35.323364
Title: Learning to Recover Spectral Reflectance from RGB Images
Title（参考訳）: RGB画像からスペクトル反射率を復元する学習
Authors: Dong Huo, Jian Wang, Yiming Qian, Yee-Hong Yang,
Abstract要約: RGB画像からのスペクトル反射率回復(SRR)は困難で費用がかかる。既存のほとんどのアプローチは、合成画像に基づいて訓練され、見知らぬすべてのテスト画像に同じパラメータを使用する。本稿では,訓練済みのネットワークパラメータを各テスト画像に微調整し,外部情報と内部情報を組み合わせた自己教師付きメタ補助学習(MAXL)戦略を提案する。
参考スコア（独自算出の注目度）: 20.260831758913902
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: This paper tackles spectral reflectance recovery (SRR) from RGB images. Since capturing ground-truth spectral reflectance and camera spectral sensitivity are challenging and costly, most existing approaches are trained on synthetic images and utilize the same parameters for all unseen testing images, which are suboptimal especially when the trained models are tested on real images because they never exploit the internal information of the testing images. To address this issue, we adopt a self-supervised meta-auxiliary learning (MAXL) strategy that fine-tunes the well-trained network parameters with each testing image to combine external with internal information. To the best of our knowledge, this is the first work that successfully adapts the MAXL strategy to this problem. Instead of relying on naive end-to-end training, we also propose a novel architecture that integrates the physical relationship between the spectral reflectance and the corresponding RGB images into the network based on our mathematical analysis. Besides, since the spectral reflectance of a scene is independent to its illumination while the corresponding RGB images are not, we recover the spectral reflectance of a scene from its RGB images captured under multiple illuminations to further reduce the unknown. Qualitative and quantitative evaluations demonstrate the effectiveness of our proposed network and of the MAXL. Our code and data are available at https://github.com/Dong-Huo/SRR-MAXL.
Abstract（参考訳）: 本稿ではRGB画像からのスペクトル反射率回復(SRR)に取り組む。地表面のスペクトル反射率とカメラスペクトル感度の取得は困難でコストがかかるため、既存のほとんどのアプローチは合成画像に基づいて訓練されており、テスト画像の内部情報を決して利用しないため、特に訓練されたモデルが実画像上でテストされる場合、すべての未確認画像に対して同じパラメータを使用する。この問題に対処するために、よく訓練されたネットワークパラメータを各テスト画像に微調整して、外部情報と内部情報を組み合わせる、自己教師付きメタ補助学習(MAXL)戦略を採用する。私たちの知る限りでは、MAXLの戦略をこの問題に適応させるのに成功した最初の作品です。また,本手法では,素質的なエンドツーエンドトレーニングに頼る代わりに,スペクトル反射率と対応するRGB画像との物理的関係を数学的解析に基づいてネットワークに組み込む新しいアーキテクチャを提案する。さらに、対応するRGB画像がなければ、シーンのスペクトル反射は照明とは独立であるので、複数の照明下で撮影されたRGB画像からシーンのスペクトル反射を復元し、未知の画像をさらに低減する。定性的かつ定量的な評価は,提案したネットワークとMAXLの有効性を示す。私たちのコードとデータはhttps://github.com/Dong-Huo/SRR-MAXL.comで公開されています。

関連論文リスト

Monocular Identity-Conditioned Facial Reflectance Reconstruction [71.90507628715388]
既存の方法は、顔の反射率モデルを学ぶために、大量の光ステージキャプチャーデータに依存している。我々は、UV空間ではなく画像空間で反射率を学習し、ID2Reflectanceというフレームワークを提案する。本フレームワークは,訓練に限られた反射率データを用いながら,単一の画像の反射率マップを直接推定することができる。
論文参考訳（メタデータ） (2024-03-30T09:43:40Z)
Limitations of Data-Driven Spectral Reconstruction -- Optics-Aware Analysis and Mitigation [22.07699685165064]
コスト効率のよいRGBカメラで撮影したRGB画像からスペクトル情報を抽出することを目的とした,データ駆動型スペクトル再構成の最近の取り組み。我々は、現在のデータセットとオーバーフィッティングに関する実用的制限と、RGB画像に符号化された情報の性質に関する基本的な制限の両方を評価する。本稿では,メタデータデータ拡張と光学レンズ収差の組み合わせを利用して,RGB画像へのメタデータ情報の符号化を改善することを提案する。
論文参考訳（メタデータ） (2024-01-08T11:46:45Z)
Attentive Multimodal Fusion for Optical and Scene Flow [24.08052492109655]
既存の方法は通常、RGB画像のみに依存するか、後段のモダリティを融合させる。本稿では,センサモード間の早期情報融合を可能にするFusionRAFTという新しいディープニューラルネットワーク手法を提案する。提案手法は,RGB画像に影響を及ぼすノイズや低照度条件の存在下での堅牢性の向上を示す。
論文参考訳（メタデータ） (2023-07-28T04:36:07Z)
Beyond Learned Metadata-based Raw Image Reconstruction [86.1667769209103]
生画像は、線形性や微細な量子化レベルなど、sRGB画像に対して明確な利点がある。ストレージの要求が大きいため、一般ユーザからは広く採用されていない。本稿では,メタデータとして,潜在空間におけるコンパクトな表現を学習する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2023-06-21T06:59:07Z)
Learning Enriched Illuminants for Cross and Single Sensor Color Constancy [182.4997117953705]
ネットワークをトレーニングするためのクロスセンサ自己教師型トレーニングを提案する。センサに依存しない方法で人工発光体をランダムにサンプリングすることでネットワークを訓練する。実験により、我々のクロスセンサモデルとシングルセンサーモデルは、他の最先端手法よりも大きなマージンで優れていることが示された。
論文参考訳（メタデータ） (2022-03-21T15:45:35Z)
Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild [48.44194221801609]
この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
論文参考訳（メタデータ） (2021-08-15T05:19:44Z)
Tuning IR-cut Filter for Illumination-aware Spectral Reconstruction from RGB [84.1657998542458]
再現精度は、使用中のRGBカメラのスペクトル応答に大きく依存していることが証明されている。本稿では,既存のrgbカメラのフィルタアレイに基づくカラーイメージング機構を調査し,irカットフィルタの設計方法を提案する。
論文参考訳（メタデータ） (2021-03-26T19:42:21Z)
Learning to Enhance Visual Quality via Hyperspectral Domain Mapping [8.365634649800658]
SpecNetはスペクトルプロファイルを計算し、所定の画像の画素単位のダイナミックレンジ調整を推定する。我々は、RGB画像から可視HSIを推測するために、自己スーパービジョンとスペクトルプロファイル正規化ネットワークを組み込んだ。
論文参考訳（メタデータ） (2021-02-10T13:27:34Z)
Deep Burst Super-Resolution [165.90445859851448]
バースト超解像タスクのための新しいアーキテクチャを提案する。我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
論文参考訳（メタデータ） (2021-01-26T18:57:21Z)
Hierarchical Regression Network for Spectral Reconstruction from RGB Images [21.551899202524904]
我々は,PixelShuffle層を用いた4レベル階層回帰ネットワーク(HRNet)を階層間相互作用として提案する。 NTIRE 2020 Challenge on Spectral Reconstruction from RGB Images に参加して,他のアーキテクチャや技術を用いたHRNetの評価を行った。
論文参考訳（メタデータ） (2020-05-10T16:06:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。