論文の概要: A Luminance-Aware Multi-Scale Network for Polarization Image Fusion with a Multi-Scene Dataset
- arxiv url: http://arxiv.org/abs/2510.24379v1
- Date: Tue, 28 Oct 2025 12:57:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-29 15:35:37.12311
- Title: A Luminance-Aware Multi-Scale Network for Polarization Image Fusion with a Multi-Scene Dataset
- Title(参考訳): マルチシーンデータセットを用いた偏光画像融合のための輝度対応マルチスケールネットワーク
- Authors: Zhuangfan Huang, Xiaosong Li, Gao Wang, Tao Ye, Haishu Tan, Huafeng Li,
- Abstract要約: 偏光画像融合は、カモフラージュ認識、組織病理解析、表面欠陥検出などの分野で重要な応用がある。
複雑な輝度環境下での異なる偏光画像からのcoL-Splementary情報交換のために,輝度対応マルチスケールネットワーク(MLSN)を提案する。
エンコーダの段階では、輝度ブランチによるマルチスケール空間重み行列を提案する。
デコーダの段階では、複雑な照明への適応性をさらに向上するため、Brightness-Enhancementモジュールを提案する。
- 参考スコア(独自算出の注目度): 17.51755440255779
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Polarization image fusion combines S0 and DOLP images to reveal surface roughness and material properties through complementary texture features, which has important applications in camouflage recognition, tissue pathology analysis, surface defect detection and other fields. To intergrate coL-Splementary information from different polarized images in complex luminance environment, we propose a luminance-aware multi-scale network (MLSN). In the encoder stage, we propose a multi-scale spatial weight matrix through a brightness-branch , which dynamically weighted inject the luminance into the feature maps, solving the problem of inherent contrast difference in polarized images. The global-local feature fusion mechanism is designed at the bottleneck layer to perform windowed self-attention computation, to balance the global context and local details through residual linking in the feature dimension restructuring stage. In the decoder stage, to further improve the adaptability to complex lighting, we propose a Brightness-Enhancement module, establishing the mapping relationship between luminance distribution and texture features, realizing the nonlinear luminance correction of the fusion result. We also present MSP, an 1000 pairs of polarized images that covers 17 types of indoor and outdoor complex lighting scenes. MSP provides four-direction polarization raw maps, solving the scarcity of high-quality datasets in polarization image fusion. Extensive experiment on MSP, PIF and GAND datasets verify that the proposed MLSN outperms the state-of-the-art methods in subjective and objective evaluations, and the MS-SSIM and SD metircs are higher than the average values of other methods by 8.57%, 60.64%, 10.26%, 63.53%, 22.21%, and 54.31%, respectively. The source code and dataset is avalable at https://github.com/1hzf/MLS-UNet.
- Abstract(参考訳): 偏光画像融合は、S0とDOLP画像を組み合わせて、相補的なテクスチャ特徴を通じて表面粗さと材料特性を明らかにする。
複雑な輝度環境下で, 異なる偏光画像から, coL-Splementary 情報を相互にやりとりするために, 輝度対応マルチスケールネットワーク (MLSN) を提案する。
エンコーダの段階では、輝度ブランチによるマルチスケール空間重み行列を提案し、特徴写像に輝度を動的に注入し、偏光画像に固有のコントラスト差の問題を解く。
局所的特徴融合機構はボトルネック層に設計されており、ウィンドウ化された自己アテンション計算を行い、特徴次元再構成段階における残差リンクによるグローバルコンテキストと局所的詳細のバランスをとる。
デコーダの段階では、複雑な照明への適応性をさらに向上するため、輝度分布とテクスチャ特性のマッピング関係を確立し、融合結果の非線形輝度補正を実現するBrightness-Enhancementモジュールを提案する。
また、室内と屋外の複合照明シーン17種をカバーする1000対の偏光画像であるMSPも紹介する。
MSPは4方向偏光生地図を提供し、偏光画像融合における高品質なデータセットの不足を解決する。
MSP、PIF、GANDデータセットの大規模な実験により、提案されたMLSNは、主観的および客観的評価において最先端の手法よりも優れており、MS-SSIMおよびSDメートル法は、それぞれ8.57%、60.64%、10.26%、63.53%、22.21%、54.31%の平均値よりも高い。
ソースコードとデータセットはhttps://github.com/1hzf/MLS-UNetで公開されている。
関連論文リスト
- Infrared and Visible Image Fusion Based on Implicit Neural Representations [3.8530055385287403]
赤外線と可視光画像融合は、両モードの強度を組み合わせることで、情報に富む画像を生成することを目的としている。
Inlicit Neural Representations (INR) に基づく画像融合手法を提案する。
実験の結果,INRFuseは主観的視覚的品質と客観的評価指標の両方において既存手法よりも優れていた。
論文 参考訳(メタデータ) (2025-06-20T06:34:19Z) - Adaptive Stereo Depth Estimation with Multi-Spectral Images Across All Lighting Conditions [58.88917836512819]
本稿では,立体深度推定を取り入れた新しいフレームワークを提案し,正確な幾何学的制約を強制する。
照明の劣化がステレオマッチングに与える影響を軽減するために,劣化マスキングを導入する。
提案手法は,Multi-Spectral Stereo(MS2)データセット上でのSOTA(State-of-the-art)性能を実現する。
論文 参考訳(メタデータ) (2024-11-06T03:30:46Z) - Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening [2.874893537471256]
展開融合法は、ディープラーニングの強力な表現能力とモデルベースアプローチの堅牢性を統合する。
本稿では,衛星画像融合のためのモデルに基づく深部展開手法を提案する。
PRISMA、Quickbird、WorldView2データセットの実験結果から、本手法の優れた性能が示された。
論文 参考訳(メタデータ) (2024-09-04T13:05:00Z) - RMAFF-PSN: A Residual Multi-Scale Attention Feature Fusion Photometric Stereo Network [37.759675702107586]
複雑な構造空間材料変化領域における2次元画像からの物体の正確な地図の予測は困難である。
画像の解像度の異なるステージとスケールから特徴情報を校正する手法を提案する。
このアプローチは、複雑な領域における物体のテクスチャや幾何学といった、より物理的な情報を保存する。
論文 参考訳(メタデータ) (2024-04-11T14:05:37Z) - A Non-Uniform Low-Light Image Enhancement Method with Multi-Scale
Attention Transformer and Luminance Consistency Loss [11.585269110131659]
低照度画像強調は、薄暗い環境で収集された画像の知覚を改善することを目的としている。
既存の方法では、識別された輝度情報を適応的に抽出することができず、露光過多や露光過多を容易に引き起こすことができる。
MSATrというマルチスケールアテンション変換器を提案し,光バランスの局所的・グローバル的特徴を十分に抽出し,視覚的品質を向上させる。
論文 参考訳(メタデータ) (2023-12-27T10:07:11Z) - Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。
このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。
本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
論文 参考訳(メタデータ) (2023-08-10T07:53:06Z) - Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。
本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。
提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
論文 参考訳(メタデータ) (2023-05-20T17:01:52Z) - NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field
Indirect Illumination [48.42173911185454]
逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。
本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
論文 参考訳(メタデータ) (2023-03-29T12:05:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。