論文の概要: Multi-scale HSV Color Feature Embedding for High-fidelity NIR-to-RGB Spectrum Translation

• arxiv url: http://arxiv.org/abs/2404.16685v1
• Date: Thu, 25 Apr 2024 15:33:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 13:20:37.309466
• Title: Multi-scale HSV Color Feature Embedding for High-fidelity NIR-to-RGB Spectrum Translation
• Title（参考訳）: 高忠実度NIR-RGBスペクトル変換のためのマルチスケールHSV色特徴埋め込み
• Authors: Huiyu Zhai, Mo Chen, Xingxing Yang, Gusheng Kang,
• Abstract要約: 既存の手法では、テクスチャディテールの忠実さの維持と多彩な色変化の達成の間の緊張を和らげることができない。 マルチスケールなHSVカラー特徴埋め込みネットワーク (MCFNet) を提案し, マッピング処理を3つのサブタスクに分割する。 提案したMCFNetは、NIR画像のカラー化タスクよりもかなりの性能向上を示した。
• 参考スコア（独自算出の注目度）: 5.596598303356484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The NIR-to-RGB spectral domain translation is a formidable task due to the inherent spectral mapping ambiguities within NIR inputs and RGB outputs. Thus, existing methods fail to reconcile the tension between maintaining texture detail fidelity and achieving diverse color variations. In this paper, we propose a Multi-scale HSV Color Feature Embedding Network (MCFNet) that decomposes the mapping process into three sub-tasks, including NIR texture maintenance, coarse geometry reconstruction, and RGB color prediction. Thus, we propose three key modules for each corresponding sub-task: the Texture Preserving Block (TPB), the HSV Color Feature Embedding Module (HSV-CFEM), and the Geometry Reconstruction Module (GRM). These modules contribute to our MCFNet methodically tackling spectral translation through a series of escalating resolutions, progressively enriching images with color and texture fidelity in a scale-coherent fashion. The proposed MCFNet demonstrates substantial performance gains over the NIR image colorization task. Code is released at: https://github.com/AlexYangxx/MCFNet.
• Abstract（参考訳）: NIR-to-RGBスペクトル領域変換は、NIR入力とRGB出力に固有のスペクトルマッピングの曖昧さのため、恐ろしい作業である。 このように既存の手法では、テクスチャディテールの忠実さの維持と多彩な色変化の達成との緊張を和らげることができない。 本稿では,NIRテクスチャの保守,粗い幾何再構成,RGB色予測を含む3つのサブタスクにマッピング処理を分解するマルチスケールHSV色特徴埋め込みネットワーク(MCFNet)を提案する。 そこで我々は,各サブタスクに対して,テクスチャ保存ブロック(TPB),HSVカラー特徴埋め込みモジュール(HSV-CFEM),幾何再構成モジュール(GRM)の3つのキーモジュールを提案する。 これらのモジュールは、一連のエスカレーション解像度を通じてスペクトル変換を手法的に処理し、スケールコヒーレントな方法で色とテクスチャの忠実度を徐々に高めている。 提案したMCFNetは、NIR画像のカラー化タスクよりもかなりの性能向上を示した。 コードはhttps://github.com/AlexYangxx/MCFNet.comで公開されている。

関連論文リスト

• Enhancing RAW-to-sRGB with Decoupled Style Structure in Fourier Domain [27.1716081216131]
  現在の方法では、携帯電話のRAW画像とDSLRカメラのRGB画像の違いを無視する。 本稿では、新しいNeural ISPフレームワーク、FourierISPを紹介する。 このアプローチは、画像を周波数領域内のスタイルと構造に分解し、独立した最適化を可能にする。
  論文  参考訳（メタデータ） (2024-01-04T09:18:31Z)
• Multi-scale Progressive Feature Embedding for Accurate NIR-to-RGB Spectral Domain Translation [6.580484964018551]
  我々は、NIRソース画像をグレースケールターゲットドメインに変換するドメイン翻訳モジュールを導入する。 プログレッシブトレーニング戦略を取り入れることで、両方のタスク領域からの統計的および意味的な知識を効率的に整合させる。 実験により、我々のMPFNetはNIR-to-RGBスペクトル領域変換タスクにおいて最先端の2.55dBより優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-26T13:07:45Z)
• Cooperative Colorization: Exploring Latent Cross-Domain Priors for NIR Image Spectrum Translation [5.28882362783108]
  近赤外線(NIR)画像スペクトル変換は多くの有望な応用において難しい問題である。 そこで本研究では,NIR画像のカラー化を他の代用グレースケールカラー化タスクと並行して行う協調学習パラダイムを提案する。 実験により,提案する協調学習フレームワークは,多彩な色と豊かなテクスチャを持つ良好なスペクトル変換出力を生成することが示された。
  論文  参考訳（メタデータ） (2023-08-07T07:02:42Z)
• Spherical Space Feature Decomposition for Guided Depth Map Super-Resolution [123.04455334124188]
  誘導深度マップ超解像(GDSR)は、低解像度(LR)深度マップに高解像度(HR)RGB画像を含む追加情報を加えることを目的としている。 本稿では,この問題を解決するために,Spherical Space Feature Decomposition Network (SSDNet)を提案する。 提案手法は,4つのテストデータセットの最先端結果と実世界のシーンへの一般化を実現する。
  論文  参考訳（メタデータ） (2023-03-15T21:22:21Z)
• Towards Reliable Image Outpainting: Learning Structure-Aware Multimodal Fusion with Depth Guidance [49.94504248096527]
  異なるモードの特徴表現をモデル化するためのDGONet(Depth-Guided Outpainting Network)を提案する。 1)マルチモーダル学習モジュールは、異なるモーダル特性の観点から独自の深さとRGBの特徴表現を生成する。 我々は、不明瞭な輪郭を増進し、信頼性の高いコンテンツ生成を迅速化するために、クロスモーダルロスとエッジロスからなる追加の制約戦略を特別に設計する。
  論文  参考訳（メタデータ） (2022-04-12T06:06:50Z)
• Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection [78.47767202232298]
  本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。 2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。 我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-08-04T11:24:42Z)
• Attention-Guided NIR Image Colorization via Adaptive Fusion of Semantic and Texture Clues [6.437931036166344]
  近赤外(NIR)イメージングは、低照度イメージングのシナリオに広く応用されている。 人間やアルゴリズムが無色のNIRドメインの実際のシーンを知覚することは困難である。 セマンティックおよびテクスチャのアダプティブフュージョンを用いた注意に基づく新しいNIR画像カラー化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-20T03:00:51Z)
• Self-Supervised Representation Learning for RGB-D Salient Object Detection [93.17479956795862]
  我々は、自己教師付き表現学習を用いて、クロスモーダルオートエンコーダと深さ-輪郭推定という2つのプレテキストタスクを設計する。 我々のプレテキストタスクは、ネットワークがリッチなセマンティックコンテキストをキャプチャする事前トレーニングを実行するのに、少数のRGB-Dデータセットしか必要としない。 RGB-D SODにおけるクロスモーダル核融合の固有の問題として,マルチパス核融合モジュールを提案する。
  論文  参考訳（メタデータ） (2021-01-29T09:16:06Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)
• Cross-Modal Weighting Network for RGB-D Salient Object Detection [76.0965123893641]
  我々は,RGB-D SODの深度チャネルとRGB-D SODの包括的相互作用を促進するために,新しいクロスモーダルウェイトリング(CMW)戦略を提案する。 具体的には、CMW-L、CMW-M、CMW-Hという3つのRGB-depth相互作用モジュールが、それぞれ低レベル、中級、高レベルのクロスモーダル情報融合を扱うように開発されている。 CMWNetは、7つの人気のあるベンチマークで15の最先端のRGB-D SODメソッドを上回っている。
  論文  参考訳（メタデータ） (2020-07-09T16:01:44Z)
• Fast Generation of High Fidelity RGB-D Images by Deep-Learning with Adaptive Convolution [10.085742605397124]
  本稿では,RGB-D画像を高解像度で効率よく生成する深層学習手法を提案する。 エンドツーエンドのアプローチとして、高忠実度RGB-D画像を毎秒約21フレームの速度で効率的に生成することができる。
  論文  参考訳（メタデータ） (2020-02-12T16:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。