Fugu-MT 論文翻訳(概要): Dynamic Brightness Adaptation for Robust Multi-modal Image Fusion

論文の概要: Dynamic Brightness Adaptation for Robust Multi-modal Image Fusion

arxiv url: http://arxiv.org/abs/2411.04697v1
Date: Thu, 07 Nov 2024 13:31:07 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-08 19:38:35.488468
Title: Dynamic Brightness Adaptation for Robust Multi-modal Image Fusion
Title（参考訳）: ロバスト多モード画像融合のための動的明度適応
Authors: Yiming Sun, Bing Cao, Pengfei Zhu, Qinghua Hu,
Abstract要約: 現実のシナリオにおける可視画像は、動的環境の明るさ変動の影響を受け、テクスチャ劣化を引き起こす。動的輝度変動に拘わらず、頑健な画像融合を実現するBrightness Adaptive Multimodal dynamic fusion framework (BA-Fusion)を提案する。本手法は,多モード画像情報と視覚的忠実度を維持するための最先端手法を超越し,明るさの異なるレベルにおいて顕著な堅牢性を示す。
参考スコア（独自算出の注目度）: 53.72174230024836
License:
Abstract: Infrared and visible image fusion aim to integrate modality strengths for visually enhanced, informative images. Visible imaging in real-world scenarios is susceptible to dynamic environmental brightness fluctuations, leading to texture degradation. Existing fusion methods lack robustness against such brightness perturbations, significantly compromising the visual fidelity of the fused imagery. To address this challenge, we propose the Brightness Adaptive multimodal dynamic fusion framework (BA-Fusion), which achieves robust image fusion despite dynamic brightness fluctuations. Specifically, we introduce a Brightness Adaptive Gate (BAG) module, which is designed to dynamically select features from brightness-related channels for normalization, while preserving brightness-independent structural information within the source images. Furthermore, we propose a brightness consistency loss function to optimize the BAG module. The entire framework is tuned via alternating training strategies. Extensive experiments validate that our method surpasses state-of-the-art methods in preserving multi-modal image information and visual fidelity, while exhibiting remarkable robustness across varying brightness levels. Our code is available: https://github.com/SunYM2020/BA-Fusion.
Abstract（参考訳）: 近赤外および可視画像融合は、視覚的に強化された情報的画像のためのモダリティ強度を統合することを目的としている。現実のシナリオにおける可視画像は、動的環境の明るさ変動の影響を受け、テクスチャ劣化を引き起こす。既存の融合法は、そのような明るさの摂動に対して頑健さを欠き、融合した画像の視覚的忠実さを著しく損なう。この課題に対処するため、動的輝度変動に拘わらず、堅牢な画像融合を実現するBrightness Adaptive Multimodal dynamic fusion framework (BA-Fusion)を提案する。具体的には,Brightness Adaptive Gate (BAG) モジュールを導入し,輝度に依存しない構造情報をソース画像内に保存しながら,輝度関連チャネルから特徴を動的に選択する。さらに,BAGモジュールを最適化する輝度整合損失関数を提案する。フレームワーク全体は、トレーニング戦略の交互化を通じて調整される。広汎な実験により,マルチモーダル画像情報と視覚的忠実度を保ちながら,様々な明るさレベルにわたって顕著なロバスト性を示した。私たちのコードは、https://github.com/SunYM2020/BA-Fusion.comで利用可能です。

関連論文リスト

ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
論文参考訳（メタデータ） (2024-08-10T08:53:41Z)
CodeEnhance: A Codebook-Driven Approach for Low-Light Image Enhancement [97.95330185793358]
低照度画像強調(LLIE)は、低照度画像を改善することを目的としている。既存の手法では、様々な明るさ劣化からの回復の不確実性と、テクスチャと色情報の喪失という2つの課題に直面している。我々は、量子化された先行値と画像の精細化を利用して、新しいエンハンスメント手法、CodeEnhanceを提案する。
論文参考訳（メタデータ） (2024-04-08T07:34:39Z)
AoSRNet: All-in-One Scene Recovery Networks via Multi-knowledge Integration [17.070755601209136]
マルチ知識統合によるオールインワンシーン復元ネットワーク(AoSRNet)を提案する。ガンマ補正(GC)と最適化線形ストレッチ(OLS)を組み合わせてディテール拡張モジュール(DEM)とカラー復元モジュール(CRM)を作成する。総合的な実験結果から,AoSRNetの有効性と安定性が他の最先端手法と比較された。
論文参考訳（メタデータ） (2024-02-06T06:12:03Z)
A Non-Uniform Low-Light Image Enhancement Method with Multi-Scale Attention Transformer and Luminance Consistency Loss [11.585269110131659]
低照度画像強調は、薄暗い環境で収集された画像の知覚を改善することを目的としている。既存の方法では、識別された輝度情報を適応的に抽出することができず、露光過多や露光過多を容易に引き起こすことができる。 MSATrというマルチスケールアテンション変換器を提案し,光バランスの局所的・グローバル的特徴を十分に抽出し,視覚的品質を向上させる。
論文参考訳（メタデータ） (2023-12-27T10:07:11Z)
Diving into Darkness: A Dual-Modulated Framework for High-Fidelity Super-Resolution in Ultra-Dark Environments [51.58771256128329]
本稿では,低照度超解像課題の性質を深く理解しようとする,特殊二変調学習フレームワークを提案する。 Illuminance-Semantic Dual Modulation (ISDM) コンポーネントを開発した。包括的実験は、我々のアプローチが多様で挑戦的な超低照度条件に適用可能であることを示す。
論文参考訳（メタデータ） (2023-09-11T06:55:32Z)
Equivariant Multi-Modality Image Fusion [124.11300001864579]
エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
論文参考訳（メタデータ） (2023-05-19T05:50:24Z)
Multi-modal Gated Mixture of Local-to-Global Experts for Dynamic Image Fusion [59.19469551774703]
赤外線と可視画像の融合は,複数の情報源からの包括的情報を統合して,様々な作業において優れた性能を実現することを目的としている。局所-言語の専門家によるマルチモーダルゲート混合を用いた動的画像融合フレームワークを提案する。本モデルは,Mixture of Local Experts (MoLE) とMixture of Global Experts (MoGE) から構成される。
論文参考訳（メタデータ） (2023-02-02T20:06:58Z)
Blur-Attention: A boosting mechanism for non-uniform blurred image restoration [27.075713246257596]
非一様ぼかし画像の特徴を動的に捉えるためのぼかしアテンションモジュールを提案する。条件生成の逆方向のフレームワークにぼやけたアテンションネットワークを導入することにより、エンド・ツー・エンドのブラインド・モーション・デブロアリング法を提案する。実験結果から,PSNR,SSIM,主観的視覚的品質の両面において,本手法の劣化能力は優れた客観的性能を示した。
論文参考訳（メタデータ） (2020-08-19T16:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。