論文の概要: Attention-Guided NIR Image Colorization via Adaptive Fusion of Semantic and Texture Clues

• arxiv url: http://arxiv.org/abs/2107.09237v1
• Date: Tue, 20 Jul 2021 03:00:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 15:00:30.094157
• Title: Attention-Guided NIR Image Colorization via Adaptive Fusion of Semantic and Texture Clues
• Title（参考訳）: 意味とテクスチャの適応融合による注意誘導NIR画像のカラー化
• Authors: Xingxing Yang, Jie Chen, Zaifeng Yang, and Zhenghua Chen
• Abstract要約: 近赤外(NIR)イメージングは、低照度イメージングのシナリオに広く応用されている。 人間やアルゴリズムが無色のNIRドメインの実際のシーンを知覚することは困難である。 セマンティックおよびテクスチャのアダプティブフュージョンを用いた注意に基づく新しいNIR画像カラー化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.437931036166344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Near infrared (NIR) imaging has been widely applied in low-light imaging scenarios; however, it is difficult for human and algorithms to perceive the real scene in the colorless NIR domain. While Generative Adversarial Network (GAN) has been widely employed in various image colorization tasks, it is challenging for a direct mapping mechanism, such as a conventional GAN, to transform an image from the NIR to the RGB domain with correct semantic reasoning, well-preserved textures, and vivid color combinations concurrently. In this work, we propose a novel Attention-based NIR image colorization framework via Adaptive Fusion of Semantic and Texture clues, aiming at achieving these goals within the same framework. The tasks of texture transfer and semantic reasoning are carried out in two separate network blocks. Specifically, the Texture Transfer Block (TTB) aims at extracting texture features from the NIR image's Laplacian component and transferring them for subsequent color fusion. The Semantic Reasoning Block (SRB) extracts semantic clues and maps the NIR pixel values to the RGB domain. Finally, a Fusion Attention Block (FAB) is proposed to adaptively fuse the features from the two branches and generate an optimized colorization result. In order to enhance the network's learning capacity in semantic reasoning as well as mapping precision in texture transfer, we have proposed the Residual Coordinate Attention Block (RCAB), which incorporates coordinate attention into a residual learning framework, enabling the network to capture long-range dependencies along the channel direction and meanwhile precise positional information can be preserved along spatial directions. RCAB is also incorporated into FAB to facilitate accurate texture alignment during fusion. Both quantitative and qualitative evaluations show that the proposed method outperforms state-of-the-art NIR image colorization methods.
• Abstract（参考訳）: 近赤外(NIR)イメージングは、低照度イメージングのシナリオに広く応用されているが、人間やアルゴリズムが無色のNIR領域の実際のシーンを認識することは困難である。 様々な画像カラー化タスクにおいてgan(generative adversarial network)が広く採用されている一方で、正しい意味的推論、保存状態のよいテクスチャ、鮮やかな色の組み合わせでnirからrgbドメインへ画像を変換する従来のganのような直接マッピング機構が課題となっている。 そこで本研究では,セマンティクスとテクスチャのヒントを適応的に融合し,同じ枠組みでこれらの目標を達成することを目的とした,新しい注意に基づくnirイメージカラー化フレームワークを提案する。 テクスチャ転送と意味推論のタスクは、2つの別々のネットワークブロックで実行される。 具体的には、テクスチャ転送ブロック(TTB)は、NIR画像のラプラシアン成分からテクスチャの特徴を抽出し、色融合のためにそれらを転送することを目的としている。 セマンティック推論ブロック(SRB)は意味的手がかりを抽出し、NIRピクセル値をRGBドメインにマッピングする。 最後に、2つのブランチから特徴を適応的に融合させ、最適化された色付け結果を生成するために、Fusion Attention Block (FAB)を提案する。 セマンティック推論におけるネットワークの学習能力の向上とテクスチャ伝達におけるマッピング精度の向上を目的として,協調的注意を学習フレームワークに組み込んだResidual Coordinate Attention Block (RCAB)を提案し,ネットワークがチャネル方向に沿った長距離依存性を捕捉し,空間方向に沿って正確な位置情報を保存できるようにする。 RCABはFABにも組み込まれ、融合時の正確なテクスチャアライメントを容易にする。 定量評価と定性評価の両方で,提案手法は最先端のNIR画像のカラー化方法よりも優れていた。

関連論文リスト

• Enhancing RAW-to-sRGB with Decoupled Style Structure in Fourier Domain [27.1716081216131]
  現在の方法では、携帯電話のRAW画像とDSLRカメラのRGB画像の違いを無視する。 本稿では、新しいNeural ISPフレームワーク、FourierISPを紹介する。 このアプローチは、画像を周波数領域内のスタイルと構造に分解し、独立した最適化を可能にする。
  論文  参考訳（メタデータ） (2024-01-04T09:18:31Z)
• Multi-scale Progressive Feature Embedding for Accurate NIR-to-RGB Spectral Domain Translation [6.580484964018551]
  我々は、NIRソース画像をグレースケールターゲットドメインに変換するドメイン翻訳モジュールを導入する。 プログレッシブトレーニング戦略を取り入れることで、両方のタスク領域からの統計的および意味的な知識を効率的に整合させる。 実験により、我々のMPFNetはNIR-to-RGBスペクトル領域変換タスクにおいて最先端の2.55dBより優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-26T13:07:45Z)
• Point-aware Interaction and CNN-induced Refinement Network for RGB-D Salient Object Detection [95.84616822805664]
  我々は,CNNによるトランスフォーマーアーキテクチャを導入し,ポイント・アウェア・インタラクションとCNNによるリファインメントを備えた新しいRGB-D SODネットワークを提案する。 トランスフォーマーがもたらすブロック効果とディテール破壊問題を自然に軽減するために,コンテンツリファインメントとサプリメントのためのCNNRユニットを設計する。
  論文  参考訳（メタデータ） (2023-08-17T11:57:49Z)
• Cooperative Colorization: Exploring Latent Cross-Domain Priors for NIR Image Spectrum Translation [5.28882362783108]
  近赤外線(NIR)画像スペクトル変換は多くの有望な応用において難しい問題である。 そこで本研究では,NIR画像のカラー化を他の代用グレースケールカラー化タスクと並行して行う協調学習パラダイムを提案する。 実験により,提案する協調学習フレームワークは,多彩な色と豊かなテクスチャを持つ良好なスペクトル変換出力を生成することが示された。
  論文  参考訳（メタデータ） (2023-08-07T07:02:42Z)
• CIR-Net: Cross-modality Interaction and Refinement for RGB-D Salient Object Detection [144.66411561224507]
  本稿では,CIR-Netと呼ばれる畳み込みニューラルネットワーク(CNN)モデルを提案する。 我々のネットワークは、定性的かつ定量的に最先端の塩分濃度検出器より優れています。
  論文  参考訳（メタデータ） (2022-10-06T11:59:19Z)
• Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration [59.02821429555375]
  我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。 登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
  論文  参考訳（メタデータ） (2022-05-24T07:51:57Z)
• Transform your Smartphone into a DSLR Camera: Learning the ISP in the Wild [159.71025525493354]
  本稿では,スマートフォンが取得したRAW画像に基づいて,DSLRの品質画像を生成する訓練可能な画像信号処理フレームワークを提案する。 トレーニング画像ペア間の色ずれに対処するために、カラー条件ISPネットワークを使用し、各入力RAWと基準DSLR画像間の新しいパラメトリック色マッピングを最適化する。
  論文  参考訳（メタデータ） (2022-03-20T20:13:59Z)
• TBNet:Two-Stream Boundary-aware Network for Generic Image Manipulation Localization [49.521622399483846]
  汎用画像操作のローカライゼーションのための新しいエンド・ツー・エンド2ストリーム境界対応ネットワーク(TBNet)を提案する。 提案したTBNetは、MCCとF1の両方の観点から、最先端の汎用画像操作のローカライズ手法を大幅に上回ることができる。
  論文  参考訳（メタデータ） (2021-08-10T08:22:05Z)
• Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection [78.47767202232298]
  本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。 2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。 我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-08-04T11:24:42Z)
• SFANet: A Spectrum-aware Feature Augmentation Network for Visible-Infrared Person Re-Identification [12.566284647658053]
  クロスモダリティマッチング問題に対するSFANetという新しいスペクトル認識特徴量化ネットワークを提案する。 grayscale-spectrumイメージで学習すると、モダリティの不一致を低減し、内部構造関係を検出することができる。 特徴レベルでは、特定および粉砕可能な畳み込みブロックの数のバランスをとることにより、従来の2ストリームネットワークを改善します。
  論文  参考訳（メタデータ） (2021-02-24T08:57:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。