論文の概要: VIIS: Visible and Infrared Information Synthesis for Severe Low-light Image Enhancement

• arxiv url: http://arxiv.org/abs/2412.13655v2
• Date: Thu, 13 Feb 2025 07:13:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:45:26.883493
• Title: VIIS: Visible and Infrared Information Synthesis for Severe Low-light Image Enhancement
• Title（参考訳）: VIIS:高解像度低照度画像強調のための可視・赤外情報合成
• Authors: Chen Zhao, Mengyuan Yu, Fan Yang, Peiguang Jing,
• Abstract要約: 既存の特異なモダリティ画像強調手法は、有効な情報を持たない画像領域の復元に苦慮している。 光不透過性赤外線画像を活用することで、可視・赤外画像融合法は暗く隠された情報を明らかにする可能性がある。 本稿では,視覚・赤外線情報合成(VIIS)と呼ばれる新しい課題を提案する。
• 参考スコア（独自算出の注目度）: 12.508926141286327
• License:
• Abstract: Images captured in severe low-light circumstances often suffer from significant information absence. Existing singular modality image enhancement methods struggle to restore image regions lacking valid information. By leveraging light-impervious infrared images, visible and infrared image fusion methods have the potential to reveal information hidden in darkness. However, they primarily emphasize inter-modal complementation but neglect intra-modal enhancement, limiting the perceptual quality of output images. To address these limitations, we propose a novel task, dubbed visible and infrared information synthesis (VIIS), which aims to achieve both information enhancement and fusion of the two modalities. Given the difficulty in obtaining ground truth in the VIIS task, we design an information synthesis pretext task (ISPT) based on image augmentation. We employ a diffusion model as the framework and design a sparse attention-based dual-modalities residual (SADMR) conditioning mechanism to enhance information interaction between the two modalities. This mechanism enables features with prior knowledge from both modalities to adaptively and iteratively attend to each modality's information during the denoising process. Our extensive experiments demonstrate that our model qualitatively and quantitatively outperforms not only the state-of-the-art methods in relevant fields but also the newly designed baselines capable of both information enhancement and fusion. The code is available at https://github.com/Chenz418/VIIS.
• Abstract（参考訳）: 厳しい低照度環境で撮影された画像は、しばしば重要な情報欠如に悩まされる。 既存の特異なモダリティ画像強調手法は、有効な情報を持たない画像領域の復元に苦慮している。 光不透過性赤外線画像を活用することで、可視・赤外画像融合法は暗く隠された情報を明らかにする可能性がある。 しかし、主にモーダル間補完を強調するが、モーダル内増強は無視され、出力画像の知覚的品質が制限される。 これらの制約に対処するため,視覚・赤外線情報合成(VIIS)と呼ばれる新しい課題を提案する。 VIISタスクの真理を得るのが難しいことを考慮し、画像拡張に基づく情報合成事前テキストタスク(ISPT)を設計する。 フレームワークとして拡散モデルを用いて,2つのモード間の情報相互作用を高めるために,疎注意に基づく2つのモード残差(SADMR)条件付け機構を設計する。 このメカニズムは、両方のモダリティからの事前の知識を持つ特徴を適応的かつ反復的に各モダリティの情報に対応させることができる。 我々のモデルは,関連分野における最先端の手法だけでなく,情報強化と融合を両立できる新規設計ベースラインよりも質的に,定量的に優れていることを示す。 コードはhttps://github.com/Chenz418/VIISで公開されている。

関連論文リスト

• Semi-LLIE: Semi-supervised Contrastive Learning with Mamba-based Low-light Image Enhancement [59.17372460692809]
  本研究は、平均教師による半教師付き低照度強化(Semi-LLIE)フレームワークを提案する。 照度分布を忠実に伝達するために、意味認識によるコントラスト損失を導入し、自然色による画像の強調に寄与する。 また,大規模な視覚言語認識モデル(RAM)に基づく新たな知覚損失を提案し,よりリッチなテキストによる画像生成を支援する。
  論文  参考訳（メタデータ） (2024-09-25T04:05:32Z)
• DAE-Fuse: An Adaptive Discriminative Autoencoder for Multi-Modality Image Fusion [10.713089596405053]
  二相識別型オートエンコーダフレームワークであるDAE-Fuseは、シャープで自然な融合画像を生成する。 公共の赤外線可視、医用画像融合、下流オブジェクト検出データセットの実験は、我々の方法の優位性と一般化性を示している。
  論文  参考訳（メタデータ） (2024-09-16T08:37:09Z)
• CodeEnhance: A Codebook-Driven Approach for Low-Light Image Enhancement [97.95330185793358]
  低照度画像強調(LLIE)は、低照度画像を改善することを目的としている。 既存の手法では、様々な明るさ劣化からの回復の不確実性と、テクスチャと色情報の喪失という2つの課題に直面している。 我々は、量子化された先行値と画像の精細化を利用して、新しいエンハンスメント手法、CodeEnhanceを提案する。
  論文  参考訳（メタデータ） (2024-04-08T07:34:39Z)
• A Multi-scale Information Integration Framework for Infrared and Visible Image Fusion [46.545365049713105]
  赤外線および可視画像融合は、ソース画像の強度と詳細情報を含む融合画像を生成することを目的としている。 既存の手法は主に損失関数の単純な重みを採用し、各モードの情報保持を決定する。 近赤外・可視画像融合のためのマルチスケールデュアルアテンション(MDA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-07T14:40:05Z)
• Mutual Information-driven Triple Interaction Network for Efficient Image Dehazing [54.168567276280505]
  画像デハージングのための相互情報駆動型トリプルインタラクションネットワーク(MITNet)を提案する。 振幅誘導ヘイズ除去と呼ばれる第1段階は、ヘイズ除去のためのヘイズ画像の振幅スペクトルを復元することを目的としている。 第2段階は位相誘導構造が洗練され、位相スペクトルの変換と微細化を学ぶことに尽力した。
  論文  参考訳（メタデータ） (2023-08-14T08:23:58Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [68.78897015832113]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Interactive Feature Embedding for Infrared and Visible Image Fusion [94.77188069479155]
  赤外線と可視画像の融合のための一般的なディープラーニングに基づく手法は、情報保持のための教師なしのメカニズムに依存している。 赤外線および可視画像融合のための自己教師付き学習フレームワークに,インタラクティブな新たな特徴埋め込みを提案する。
  論文  参考訳（メタデータ） (2022-11-09T13:34:42Z)
• Towards Homogeneous Modality Learning and Multi-Granularity Information Exploration for Visible-Infrared Person Re-Identification [16.22986967958162]
  Visible-infrared person re-identification (VI-ReID) は、可視・赤外線カメラビューを介して人物画像の集合を検索することを目的とした、困難かつ必須の課題である。 従来の手法では, GAN (Generative Adversarial Network) を用いて, モーダリティ・コンシデント・データを生成する手法が提案されている。 そこで本研究では、視線外デュアルモード学習をグレーグレー単一モード学習問題として再構成する、統一されたダークラインスペクトルであるAligned Grayscale Modality (AGM)を用いて、モード間マッチング問題に対処する。
  論文  参考訳（メタデータ） (2022-04-11T03:03:19Z)
• Degrade is Upgrade: Learning Degradation for Low-light Image Enhancement [52.49231695707198]
  2段階の工程で細部と色を精錬しながら、内在的な劣化と低照度画像を照らし出す。 カラー画像の定式化に触発されて,まず低照度入力からの劣化を推定し,環境照明色の歪みをシミュレーションし,そのコンテンツを精錬して拡散照明色の損失を回復した。 LOL1000データセットではPSNRで0.95dB、ExDarkデータセットでは3.18%のmAPでSOTAを上回った。
  論文  参考訳（メタデータ） (2021-03-19T04:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。