論文の概要: Cooperative Colorization: Exploring Latent Cross-Domain Priors for NIR
Image Spectrum Translation
- arxiv url: http://arxiv.org/abs/2308.03348v1
- Date: Mon, 7 Aug 2023 07:02:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 14:53:10.919884
- Title: Cooperative Colorization: Exploring Latent Cross-Domain Priors for NIR
Image Spectrum Translation
- Title（参考訳）: 協調色化:NIR画像スペクトル変換のための潜在クロスドメイン先行探索
- Authors: Xingxing Yang, Jie Chen, Zaifeng Yang
- Abstract要約: 近赤外線(NIR)画像スペクトル変換は多くの有望な応用において難しい問題である。
そこで本研究では,NIR画像のカラー化を他の代用グレースケールカラー化タスクと並行して行う協調学習パラダイムを提案する。
実験により,提案する協調学習フレームワークは,多彩な色と豊かなテクスチャを持つ良好なスペクトル変換出力を生成することが示された。
- 参考スコア（独自算出の注目度）: 5.28882362783108
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Near-infrared (NIR) image spectrum translation is a challenging problem with
many promising applications. Existing methods struggle with the mapping
ambiguity between the NIR and the RGB domains, and generalize poorly due to the
limitations of models' learning capabilities and the unavailability of
sufficient NIR-RGB image pairs for training. To address these challenges, we
propose a cooperative learning paradigm that colorizes NIR images in parallel
with another proxy grayscale colorization task by exploring latent cross-domain
priors (i.e., latent spectrum context priors and task domain priors), dubbed
CoColor. The complementary statistical and semantic spectrum information from
these two task domains -- in the forms of pre-trained colorization networks --
are brought in as task domain priors. A bilateral domain translation module is
subsequently designed, in which intermittent NIR images are generated from
grayscale and colorized in parallel with authentic NIR images; and vice versa
for the grayscale images. These intermittent transformations act as latent
spectrum context priors for efficient domain knowledge exchange. We
progressively fine-tune and fuse these modules with a series of pixel-level and
feature-level consistency constraints. Experiments show that our proposed
cooperative learning framework produces satisfactory spectrum translation
outputs with diverse colors and rich textures, and outperforms state-of-the-art
counterparts by 3.95dB and 4.66dB in terms of PNSR for the NIR and grayscale
colorization tasks, respectively.
- Abstract（参考訳）: 近赤外線(NIR)画像スペクトル変換は多くの有望な応用において難しい問題である。
既存の手法は、NIRとRGBドメイン間のマッピングの曖昧さに悩まされており、モデルの学習能力の限界と、トレーニングに十分なNIR-RGBイメージペアの有効性のために、一般化が不十分である。
これらの課題に対処するため、我々はCoColorと呼ばれる潜在スペクトルコンテキスト先行とタスク領域先行を探索し、NIR画像を別のプロキシグレースケールカラー化タスクと並行して色づけする協調学習パラダイムを提案する。
これら2つのタスクドメイン(事前学習された色付けネットワークの形式で)からの補完的な統計および意味スペクトル情報は、タスクドメインの先行として持ち込まれる。
その後、2つのドメイン翻訳モジュールが設計され、間欠的なNIR画像がグレースケールから生成され、真のNIR画像と並行して色付けされる。
これらの断続変換は、効率的なドメイン知識交換のための潜在スペクトル文脈として機能する。
段階的にこれらのモジュールをピクセルレベルと機能レベルの一貫性の制約によって微調整し、融合します。
実験により,提案した協調学習フレームワークは,多彩な色と豊かなテクスチャを持つ良好なスペクトル変換出力を生成し,NIRとグレースケールのカラー化タスクのPNSRで最先端の3.95dBと4.66dBを上回った。
関連論文リスト
- Retinex-RAWMamba: Bridging Demosaicing and Denoising for Low-Light RAW Image Enhancement [71.13353154514418]
低照度画像の強化、特に生ドメインからsRGBドメインへのマッピングのようなクロスドメインタスクは、依然として大きな課題である。
RAWMambaと呼ばれる新しいMambaスキャニング機構を提案する。
また,Retinex の先行したRetinex Decomposition Module (RDM) も提案する。
論文 参考訳（メタデータ） (2024-09-11T06:12:03Z) - FDCE-Net: Underwater Image Enhancement with Embedding Frequency and Dual Color Encoder [49.79611204954311]
水中画像は、低明度、色の変化、ぼやけた詳細、吸光光によるノイズ、水や懸濁粒子による散乱などの様々な問題に悩まされることが多い。
従来の水中画像強調法(UIE)は主に空間領域の強調に焦点を当てており、画像固有の周波数領域情報を無視している。
論文 参考訳（メタデータ） (2024-04-27T15:16:34Z) - Multi-scale HSV Color Feature Embedding for High-fidelity NIR-to-RGB Spectrum Translation [5.596598303356484]
既存の手法では、テクスチャディテールの忠実さの維持と多彩な色変化の達成の間の緊張を和らげることができない。
マルチスケールなHSVカラー特徴埋め込みネットワーク (MCFNet) を提案し, マッピング処理を3つのサブタスクに分割する。
提案したMCFNetは、NIR画像のカラー化タスクよりもかなりの性能向上を示した。
論文 参考訳（メタデータ） (2024-04-25T15:33:23Z) - Multi-scale Progressive Feature Embedding for Accurate NIR-to-RGB
Spectral Domain Translation [6.580484964018551]
我々は、NIRソース画像をグレースケールターゲットドメインに変換するドメイン翻訳モジュールを導入する。
プログレッシブトレーニング戦略を取り入れることで、両方のタスク領域からの統計的および意味的な知識を効率的に整合させる。
実験により、我々のMPFNetはNIR-to-RGBスペクトル領域変換タスクにおいて最先端の2.55dBより優れていることが示された。
論文 参考訳（メタデータ） (2023-12-26T13:07:45Z) - DARC: Distribution-Aware Re-Coloring Model for Generalizable Nucleus
Segmentation [68.43628183890007]
ドメインギャップは、異なるフォアグラウンド(核)-バックグラウンド比によっても引き起こされる可能性があると我々は主張する。
まず、異なる領域間の劇的な画像色変化を緩和する再カラー化手法を提案する。
次に,前景-背景比の変動に頑健な新しいインスタンス正規化手法を提案する。
論文 参考訳（メタデータ） (2023-09-01T01:01:13Z) - Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。
近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。
本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
論文 参考訳（メタデータ） (2023-06-17T14:28:08Z) - Unsupervised Misaligned Infrared and Visible Image Fusion via
Cross-Modality Image Generation and Registration [59.02821429555375]
我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。
登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
論文 参考訳（メタデータ） (2022-05-24T07:51:57Z) - TBNet:Two-Stream Boundary-aware Network for Generic Image Manipulation
Localization [49.521622399483846]
汎用画像操作のローカライゼーションのための新しいエンド・ツー・エンド2ストリーム境界対応ネットワーク(TBNet)を提案する。
提案したTBNetは、MCCとF1の両方の観点から、最先端の汎用画像操作のローカライズ手法を大幅に上回ることができる。
論文 参考訳（メタデータ） (2021-08-10T08:22:05Z) - Attention-Guided NIR Image Colorization via Adaptive Fusion of Semantic
and Texture Clues [6.437931036166344]
近赤外(NIR)イメージングは、低照度イメージングのシナリオに広く応用されている。
人間やアルゴリズムが無色のNIRドメインの実際のシーンを知覚することは困難である。
セマンティックおよびテクスチャのアダプティブフュージョンを用いた注意に基づく新しいNIR画像カラー化フレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-20T03:00:51Z) - SFANet: A Spectrum-aware Feature Augmentation Network for
Visible-Infrared Person Re-Identification [12.566284647658053]
クロスモダリティマッチング問題に対するSFANetという新しいスペクトル認識特徴量化ネットワークを提案する。
grayscale-spectrumイメージで学習すると、モダリティの不一致を低減し、内部構造関係を検出することができる。
特徴レベルでは、特定および粉砕可能な畳み込みブロックの数のバランスをとることにより、従来の2ストリームネットワークを改善します。
論文 参考訳（メタデータ） (2021-02-24T08:57:32Z) - Self-Supervised Representation Learning for RGB-D Salient Object
Detection [93.17479956795862]
我々は、自己教師付き表現学習を用いて、クロスモーダルオートエンコーダと深さ-輪郭推定という2つのプレテキストタスクを設計する。
我々のプレテキストタスクは、ネットワークがリッチなセマンティックコンテキストをキャプチャする事前トレーニングを実行するのに、少数のRGB-Dデータセットしか必要としない。
RGB-D SODにおけるクロスモーダル核融合の固有の問題として,マルチパス核融合モジュールを提案する。
論文 参考訳（メタデータ） (2021-01-29T09:16:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。