Fugu-MT 論文翻訳(概要): VIIS: Visible and Infrared Information Synthesis for Severe Low-light Image Enhancement

論文の概要: VIIS: Visible and Infrared Information Synthesis for Severe Low-light Image Enhancement

arxiv url: http://arxiv.org/abs/2412.13655v2
Date: Thu, 13 Feb 2025 07:13:57 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-14 15:38:05.948921
Title: VIIS: Visible and Infrared Information Synthesis for Severe Low-light Image Enhancement
Title（参考訳）: VIIS:高解像度低照度画像強調のための可視・赤外情報合成
Authors: Chen Zhao, Mengyuan Yu, Fan Yang, Peiguang Jing,
Abstract要約: 既存の特異なモダリティ画像強調手法は、有効な情報を持たない画像領域の復元に苦慮している。光不透過性赤外線画像を活用することで、可視・赤外画像融合法は暗く隠された情報を明らかにする可能性がある。本稿では,視覚・赤外線情報合成(VIIS)と呼ばれる新しい課題を提案する。
参考スコア（独自算出の注目度）: 12.508926141286327
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Images captured in severe low-light circumstances often suffer from significant information absence. Existing singular modality image enhancement methods struggle to restore image regions lacking valid information. By leveraging light-impervious infrared images, visible and infrared image fusion methods have the potential to reveal information hidden in darkness. However, they primarily emphasize inter-modal complementation but neglect intra-modal enhancement, limiting the perceptual quality of output images. To address these limitations, we propose a novel task, dubbed visible and infrared information synthesis (VIIS), which aims to achieve both information enhancement and fusion of the two modalities. Given the difficulty in obtaining ground truth in the VIIS task, we design an information synthesis pretext task (ISPT) based on image augmentation. We employ a diffusion model as the framework and design a sparse attention-based dual-modalities residual (SADMR) conditioning mechanism to enhance information interaction between the two modalities. This mechanism enables features with prior knowledge from both modalities to adaptively and iteratively attend to each modality's information during the denoising process. Our extensive experiments demonstrate that our model qualitatively and quantitatively outperforms not only the state-of-the-art methods in relevant fields but also the newly designed baselines capable of both information enhancement and fusion. The code is available at https://github.com/Chenz418/VIIS.
Abstract（参考訳）: 厳しい低照度環境で撮影された画像は、しばしば重要な情報欠如に悩まされる。既存の特異なモダリティ画像強調手法は、有効な情報を持たない画像領域の復元に苦慮している。光不透過性赤外線画像を活用することで、可視・赤外画像融合法は暗く隠された情報を明らかにする可能性がある。しかし、主にモーダル間補完を強調するが、モーダル内増強は無視され、出力画像の知覚的品質が制限される。これらの制約に対処するため,視覚・赤外線情報合成(VIIS)と呼ばれる新しい課題を提案する。 VIISタスクの真理を得るのが難しいことを考慮し、画像拡張に基づく情報合成事前テキストタスク(ISPT)を設計する。フレームワークとして拡散モデルを用いて,2つのモード間の情報相互作用を高めるために,疎注意に基づく2つのモード残差(SADMR)条件付け機構を設計する。このメカニズムは、両方のモダリティからの事前の知識を持つ特徴を適応的かつ反復的に各モダリティの情報に対応させることができる。我々のモデルは,関連分野における最先端の手法だけでなく,情報強化と融合を両立できる新規設計ベースラインよりも質的に,定量的に優れていることを示す。コードはhttps://github.com/Chenz418/VIISで公開されている。

関連論文リスト

OCCO: LVM-guided Infrared and Visible Image Fusion Framework based on Object-aware and Contextual COntrastive Learning [19.22887628187884]
オブジェクト認識とコンテキスト協調学習を備えた新しいLVM誘導型融合フレームワークを提案する。また、モダリティ差による融合画像における情報衝突を解決するために、新しい特徴相互作用融合ネットワークを設計する。提案手法の有効性を検証し、下流視覚課題においても例外的な性能を示す。
論文参考訳（メタデータ） (2025-03-24T12:57:23Z)
Dig2DIG: Dig into Diffusion Information Gains for Image Fusion [46.504772732456196]
本稿では拡散情報ゲイン(DIG)を導入し,各モードの情報貢献度を異なる段階で定量化する。本手法は,融合品質と推論効率の両方の観点から,既存の拡散に基づくアプローチよりも優れている。
論文参考訳（メタデータ） (2025-03-24T12:43:11Z)
Semi-LLIE: Semi-supervised Contrastive Learning with Mamba-based Low-light Image Enhancement [59.17372460692809]
本研究は、平均教師による半教師付き低照度強化(Semi-LLIE)フレームワークを提案する。照度分布を忠実に伝達するために、意味認識によるコントラスト損失を導入し、自然色による画像の強調に寄与する。また,大規模な視覚言語認識モデル(RAM)に基づく新たな知覚損失を提案し,よりリッチなテキストによる画像生成を支援する。
論文参考訳（メタデータ） (2024-09-25T04:05:32Z)
GAN-HA: A generative adversarial network with a novel heterogeneous dual-discriminator network and a new attention-based fusion strategy for infrared and visible image fusion [0.1160897408844138]
赤外線・可視画像融合(IVIF)は、可視画像からテクスチャの詳細を統合しつつ、赤外線画像からの熱放射情報を保存することを目的としている。既存の二重識別器生成敵ネットワーク(GAN)は、2つの構造的に同一の識別器を学習に頼っていることが多い。本稿では,異種二重識別器ネットワークと注意に基づく融合戦略を備えた新しいGANを提案する。
論文参考訳（メタデータ） (2024-04-24T17:06:52Z)
CodeEnhance: A Codebook-Driven Approach for Low-Light Image Enhancement [97.95330185793358]
低照度画像強調(LLIE)は、低照度画像を改善することを目的としている。既存の手法では、様々な明るさ劣化からの回復の不確実性と、テクスチャと色情報の喪失という2つの課題に直面している。我々は、量子化された先行値と画像の精細化を利用して、新しいエンハンスメント手法、CodeEnhanceを提案する。
論文参考訳（メタデータ） (2024-04-08T07:34:39Z)
A Multi-scale Information Integration Framework for Infrared and Visible Image Fusion [46.545365049713105]
赤外線および可視画像融合は、ソース画像の強度と詳細情報を含む融合画像を生成することを目的としている。既存の手法は主に損失関数の単純な重みを採用し、各モードの情報保持を決定する。近赤外・可視画像融合のためのマルチスケールデュアルアテンション(MDA)フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-07T14:40:05Z)
Mutual Information-driven Triple Interaction Network for Efficient Image Dehazing [54.168567276280505]
画像デハージングのための相互情報駆動型トリプルインタラクションネットワーク(MITNet)を提案する。振幅誘導ヘイズ除去と呼ばれる第1段階は、ヘイズ除去のためのヘイズ画像の振幅スペクトルを復元することを目的としている。第2段階は位相誘導構造が洗練され、位相スペクトルの変換と微細化を学ぶことに尽力した。
論文参考訳（メタデータ） (2023-08-14T08:23:58Z)
CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [68.78897015832113]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文参考訳（メタデータ） (2022-11-20T12:02:07Z)
Interactive Feature Embedding for Infrared and Visible Image Fusion [94.77188069479155]
赤外線と可視画像の融合のための一般的なディープラーニングに基づく手法は、情報保持のための教師なしのメカニズムに依存している。赤外線および可視画像融合のための自己教師付き学習フレームワークに,インタラクティブな新たな特徴埋め込みを提案する。
論文参考訳（メタデータ） (2022-11-09T13:34:42Z)
Towards Homogeneous Modality Learning and Multi-Granularity Information Exploration for Visible-Infrared Person Re-Identification [16.22986967958162]
Visible-infrared person re-identification (VI-ReID) は、可視・赤外線カメラビューを介して人物画像の集合を検索することを目的とした、困難かつ必須の課題である。従来の手法では, GAN (Generative Adversarial Network) を用いて, モーダリティ・コンシデント・データを生成する手法が提案されている。そこで本研究では、視線外デュアルモード学習をグレーグレー単一モード学習問題として再構成する、統一されたダークラインスペクトルであるAligned Grayscale Modality (AGM)を用いて、モード間マッチング問題に対処する。
論文参考訳（メタデータ） (2022-04-11T03:03:19Z)
Degrade is Upgrade: Learning Degradation for Low-light Image Enhancement [52.49231695707198]
2段階の工程で細部と色を精錬しながら、内在的な劣化と低照度画像を照らし出す。カラー画像の定式化に触発されて,まず低照度入力からの劣化を推定し,環境照明色の歪みをシミュレーションし,そのコンテンツを精錬して拡散照明色の損失を回復した。 LOL1000データセットではPSNRで0.95dB、ExDarkデータセットでは3.18%のmAPでSOTAを上回った。
論文参考訳（メタデータ） (2021-03-19T04:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。