論文の概要: Multi-scale Progressive Feature Embedding for Accurate NIR-to-RGB
Spectral Domain Translation
- arxiv url: http://arxiv.org/abs/2312.16040v1
- Date: Tue, 26 Dec 2023 13:07:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 15:13:55.076299
- Title: Multi-scale Progressive Feature Embedding for Accurate NIR-to-RGB
Spectral Domain Translation
- Title(参考訳): 高精度NIR-RGBスペクトル領域変換のためのマルチスケールプログレッシブな特徴埋め込み
- Authors: Xingxing Yang, Jie Chen, Zaifeng Yang
- Abstract要約: 我々は、NIRソース画像をグレースケールターゲットドメインに変換するドメイン翻訳モジュールを導入する。
プログレッシブトレーニング戦略を取り入れることで、両方のタスク領域からの統計的および意味的な知識を効率的に整合させる。
実験により、我々のMPFNetはNIR-to-RGBスペクトル領域変換タスクにおいて最先端の2.55dBより優れていることが示された。
- 参考スコア(独自算出の注目度): 6.580484964018551
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: NIR-to-RGB spectral domain translation is a challenging task due to the
mapping ambiguities, and existing methods show limited learning capacities. To
address these challenges, we propose to colorize NIR images via a multi-scale
progressive feature embedding network (MPFNet), with the guidance of grayscale
image colorization. Specifically, we first introduce a domain translation
module that translates NIR source images into the grayscale target domain. By
incorporating a progressive training strategy, the statistical and semantic
knowledge from both task domains are efficiently aligned with a series of
pixel- and feature-level consistency constraints. Besides, a multi-scale
progressive feature embedding network is designed to improve learning
capabilities. Experiments show that our MPFNet outperforms state-of-the-art
counterparts by 2.55 dB in the NIR-to-RGB spectral domain translation task in
terms of PSNR.
- Abstract(参考訳): NIR-to-RGBスペクトル領域変換は、マッピングのあいまいさのため難しい課題であり、既存の手法では学習能力が限られている。
これらの課題に対処するため,我々は,マルチスケールプログレッシブ特徴埋め込みネットワーク (mpfnet) によるnir画像のカラー化を提案する。
具体的には、まずNIRソース画像をグレースケールターゲットドメインに変換するドメイン翻訳モジュールを導入する。
プログレッシブトレーニング戦略を導入することにより、両方のタスクドメインからの統計的および意味的知識を、一連のピクセルおよび機能レベルの一貫性制約と効率的に一致させる。
さらに、学習能力を向上させるために、マルチスケールのプログレッシブ機能埋め込みネットワークが設計されている。
NIR-to-RGBスペクトル領域変換タスクにおいて、我々のMPFNetは2.55dBの性能をPSNRで上回ることを示した。
関連論文リスト
- You Only Need One Color Space: An Efficient Network for Low-light Image
Enhancement [51.33241089734805]
低照度画像強調(LLIE)タスクは、劣化した低照度画像から詳細と視覚情報を復元する傾向がある。
水平/垂直インテンシティ(HVI)と呼ばれる新しいトレーニング可能なカラー空間を提案する。
輝度と色をRGBチャネルから切り離して、拡張中の不安定性を緩和するだけでなく、トレーニング可能なパラメータによって異なる照明範囲の低照度画像にも適応する。
論文 参考訳(メタデータ) (2024-02-08T16:47:43Z) - Cooperative Colorization: Exploring Latent Cross-Domain Priors for NIR
Image Spectrum Translation [5.28882362783108]
近赤外線(NIR)画像スペクトル変換は多くの有望な応用において難しい問題である。
そこで本研究では,NIR画像のカラー化を他の代用グレースケールカラー化タスクと並行して行う協調学習パラダイムを提案する。
実験により,提案する協調学習フレームワークは,多彩な色と豊かなテクスチャを持つ良好なスペクトル変換出力を生成することが示された。
論文 参考訳(メタデータ) (2023-08-07T07:02:42Z) - Edge-guided Multi-domain RGB-to-TIR image Translation for Training
Vision Tasks with Challenging Labels [12.701191873813583]
注釈付き熱赤外(TIR)画像データセットの不足は、TIR画像ベースのディープラーニングネットワークを妨害し、RGBと同等の性能を持つ。
本稿では,エッジ保存に着目したマルチドメインRGBからTIRへの変換モデルを提案する。
我々は、終点誤差を平均56.5%改善した深部TIR画像に基づく光フロー推定と物体検出の教師あり学習を可能にし、最高の物体検出mAPは23.9%とした。
論文 参考訳(メタデータ) (2023-01-30T06:44:38Z) - Towards Reliable Image Outpainting: Learning Structure-Aware Multimodal
Fusion with Depth Guidance [49.94504248096527]
異なるモードの特徴表現をモデル化するためのDGONet(Depth-Guided Outpainting Network)を提案する。
1)マルチモーダル学習モジュールは、異なるモーダル特性の観点から独自の深さとRGBの特徴表現を生成する。
我々は、不明瞭な輪郭を増進し、信頼性の高いコンテンツ生成を迅速化するために、クロスモーダルロスとエッジロスからなる追加の制約戦略を特別に設計する。
論文 参考訳(メタデータ) (2022-04-12T06:06:50Z) - TBNet:Two-Stream Boundary-aware Network for Generic Image Manipulation
Localization [49.521622399483846]
汎用画像操作のローカライゼーションのための新しいエンド・ツー・エンド2ストリーム境界対応ネットワーク(TBNet)を提案する。
提案したTBNetは、MCCとF1の両方の観点から、最先端の汎用画像操作のローカライズ手法を大幅に上回ることができる。
論文 参考訳(メタデータ) (2021-08-10T08:22:05Z) - Cross-modality Discrepant Interaction Network for RGB-D Salient Object
Detection [78.47767202232298]
本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。
2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。
我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
論文 参考訳(メタデータ) (2021-08-04T11:24:42Z) - Attention-Guided NIR Image Colorization via Adaptive Fusion of Semantic
and Texture Clues [6.437931036166344]
近赤外(NIR)イメージングは、低照度イメージングのシナリオに広く応用されている。
人間やアルゴリズムが無色のNIRドメインの実際のシーンを知覚することは困難である。
セマンティックおよびテクスチャのアダプティブフュージョンを用いた注意に基づく新しいNIR画像カラー化フレームワークを提案する。
論文 参考訳(メタデータ) (2021-07-20T03:00:51Z) - SFANet: A Spectrum-aware Feature Augmentation Network for
Visible-Infrared Person Re-Identification [12.566284647658053]
クロスモダリティマッチング問題に対するSFANetという新しいスペクトル認識特徴量化ネットワークを提案する。
grayscale-spectrumイメージで学習すると、モダリティの不一致を低減し、内部構造関係を検出することができる。
特徴レベルでは、特定および粉砕可能な畳み込みブロックの数のバランスをとることにより、従来の2ストリームネットワークを改善します。
論文 参考訳(メタデータ) (2021-02-24T08:57:32Z) - Self-Supervised Representation Learning for RGB-D Salient Object
Detection [93.17479956795862]
我々は、自己教師付き表現学習を用いて、クロスモーダルオートエンコーダと深さ-輪郭推定という2つのプレテキストタスクを設計する。
我々のプレテキストタスクは、ネットワークがリッチなセマンティックコンテキストをキャプチャする事前トレーニングを実行するのに、少数のRGB-Dデータセットしか必要としない。
RGB-D SODにおけるクロスモーダル核融合の固有の問題として,マルチパス核融合モジュールを提案する。
論文 参考訳(メタデータ) (2021-01-29T09:16:06Z) - AdaptiveWeighted Attention Network with Camera Spectral Sensitivity
Prior for Spectral Reconstruction from RGB Images [22.26917280683572]
スペクトル再構成のための適応重み付き注意ネットワーク(AWAN)を提案する。
AWCAおよびPSNLモジュールは、チャネルワイドな特徴応答を再配置するために開発された。
NTIRE 2020 Spectral Reconstruction Challengeでは、クリーントラックで1位、リアルワールドで3位を獲得しました。
論文 参考訳(メタデータ) (2020-05-19T09:21:01Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳(メタデータ) (2020-03-15T11:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。