論文の概要: DAE-Fuse: An Adaptive Discriminative Autoencoder for Multi-Modality Image Fusion

• arxiv url: http://arxiv.org/abs/2409.10080v2
• Date: Tue, 24 Dec 2024 15:22:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 19:23:17.4633
• Title: DAE-Fuse: An Adaptive Discriminative Autoencoder for Multi-Modality Image Fusion
• Title（参考訳）: DAE-Fuse:多モード画像融合のための適応型識別オートエンコーダ
• Authors: Yuchen Guo, Ruoxiang Xu, Rongcheng Li, Zhenghao Wu, Weifeng Su,
• Abstract要約: DAE-Fuseは,鮮明で自然な融合画像を生成する2相識別型自動エンコーダフレームワークである。 静止画像からビデオ領域への画像融合技術の拡張を開拓した。 DaE-Fuseは、複数のベンチマークで最先端のパフォーマンスを実現し、医用画像融合のようなタスクに優れた一般化性を持つ。
• 参考スコア（独自算出の注目度）: 10.713089596405053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In extreme scenarios such as nighttime or low-visibility environments, achieving reliable perception is critical for applications like autonomous driving, robotics, and surveillance. Multi-modality image fusion, particularly integrating infrared imaging, offers a robust solution by combining complementary information from different modalities to enhance scene understanding and decision-making. However, current methods face significant limitations: GAN-based approaches often produce blurry images that lack fine-grained details, while AE-based methods may introduce bias toward specific modalities, leading to unnatural fusion results. To address these challenges, we propose DAE-Fuse, a novel two-phase discriminative autoencoder framework that generates sharp and natural fused images. Furthermore, We pioneer the extension of image fusion techniques from static images to the video domain while preserving temporal consistency across frames, thus advancing the perceptual capabilities required for autonomous navigation. Extensive experiments on public datasets demonstrate that DAE-Fuse achieves state-of-the-art performance on multiple benchmarks, with superior generalizability to tasks like medical image fusion.
• Abstract（参考訳）: 夜間や低視認性環境のような極端なシナリオでは、自律運転やロボティクス、監視といったアプリケーションにとって、信頼性の高い認識を達成することが重要である。 マルチモダリティ画像融合(特に赤外線画像の統合)は、異なるモダリティからの相補的な情報を組み合わせてシーン理解と意思決定を強化することで、堅牢なソリューションを提供する。 しかし、現在の手法には重大な制限がある: GANベースのアプローチは、細かな詳細を欠いたぼやけた画像をしばしば生成するが、AEベースの手法は特定のモダリティに対する偏見を導入し、不自然な融合結果をもたらす。 これらの課題に対処するために、鋭く自然に融合した画像を生成する新しい2相識別型オートエンコーダフレームワークであるDAE-Fuseを提案する。 さらに,フレーム間の時間的一貫性を保ちながら,静止画像からビデオ領域への画像融合技術の拡張を開拓し,自律ナビゲーションに必要な知覚能力を向上させる。 公開データセットに関する大規模な実験は、DAE-Fuseが複数のベンチマークで最先端のパフォーマンスを達成することを示した。

関連論文リスト

• FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [63.87313550399871]
  画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。 自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。 PSTは、画像基礎モデルと潜在空間アライメントによるクロスモーダルな知識伝達を確立する。 FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。
  論文  参考訳（メタデータ） (2025-03-25T15:04:53Z)
• PromptMID: Modal Invariant Descriptors Based on Diffusion and Vision Foundation Models for Optical-SAR Image Matching [15.840638449527399]
  本稿では,テキストプロンプトを用いたモダリティ不変記述子構築手法であるPromptMIDを提案する。 PromptMIDは、事前訓練された拡散モデルと視覚基礎モデルを活用することで、マルチスケールのモダリティ不変の特徴を抽出する。 4つの異なる領域の光学SAR画像データセットの実験により、PromptMIDは最先端のマッチング方法より優れていることが示された。
  論文  参考訳（メタデータ） (2025-02-25T11:19:26Z)
• Conditional Controllable Image Fusion [56.4120974322286]
  条件付き制御可能核融合(CCF)フレームワーク。 CCFは、実際には個々の個人に対して特定の核融合の制約を課している。 様々なシナリオにまたがる一般融合タスクにおける有効性を検証する実験。
  論文  参考訳（メタデータ） (2024-11-03T13:56:15Z)
• Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
  画像融合の本質は、ソース画像からの相補的な情報を統合することである。 DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
  論文  参考訳（メタデータ） (2024-10-16T06:28:49Z)
• OCR is All you need: Importing Multi-Modality into Image-based Defect Detection System [7.1083241462091165]
  我々は,光学的文字認識(OCR)を基本とする外部モダリティ誘導データマイニングフレームワークを導入し,画像から統計的特徴を抽出する。 提案手法の重要な側面は、単一のモーダル認識モデルを用いて抽出された外部モーダル特徴のアライメントであり、畳み込みニューラルネットワークによって符号化された画像特徴である。 本手法は欠陥検出モデルのリコール率を大幅に向上させ,挑戦シナリオにおいても高い堅牢性を維持する。
  論文  参考訳（メタデータ） (2024-03-18T07:41:39Z)
• A Multi-scale Information Integration Framework for Infrared and Visible Image Fusion [46.545365049713105]
  赤外線および可視画像融合は、ソース画像の強度と詳細情報を含む融合画像を生成することを目的としている。 既存の手法は主に損失関数の単純な重みを採用し、各モードの情報保持を決定する。 近赤外・可視画像融合のためのマルチスケールデュアルアテンション(MDA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-07T14:40:05Z)
• Bridging the Gap between Multi-focus and Multi-modal: A Focused Integration Framework for Multi-modal Image Fusion [5.417493475406649]
  MMIF(Multi-Modal Image fusion)は、異なるモダリティ画像からの貴重な情報を融合画像に統合する。 本稿では,協調型統合とモダリティ情報抽出のためのMMIFフレームワークを提案する。 提案アルゴリズムは、視覚知覚と定量的評価において最先端の手法を超越することができる。
  論文  参考訳（メタデータ） (2023-11-03T12:58:39Z)
• Multimodal Transformer Using Cross-Channel attention for Object Detection in Remote Sensing Images [1.662438436885552]
  マルチモーダル融合は、複数のモーダルからのデータを融合することで精度を高めることが決定されている。 早期に異なるチャネル間の関係をマッピングするための新しいマルチモーダル融合戦略を提案する。 本手法は,中期・後期の手法とは対照的に,早期の融合に対処することにより,既存の手法と比較して,競争力や性能に優れる。
  論文  参考訳（メタデータ） (2023-10-21T00:56:11Z)
• Multi-modal Medical Neurological Image Fusion using Wavelet Pooled Edge Preserving Autoencoder [3.3828292731430545]
  本稿では,エッジ保存型高密度オートエンコーダネットワークに基づくマルチモーダル医用画像に対するエンドツーエンド非教師付き核融合モデルを提案する。 提案モデルでは,特徴マップのウェーブレット分解に基づくアテンションプールを用いて特徴抽出を改善する。 提案モデルでは,ソース画像の強度分布の把握を支援する様々な医用画像ペアを訓練する。
  論文  参考訳（メタデータ） (2023-10-18T11:59:35Z)
• AdaFuse: Adaptive Medical Image Fusion Based on Spatial-Frequential Cross Attention [6.910879180358217]
  本稿では,周波数誘導型アテンション機構によりマルチモーダル画像情報を適応的に融合させるAdaFuseを提案する。 提案手法は,視覚的品質と定量的指標の両方の観点から,最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-10-09T07:10:30Z)
• Hybrid-Supervised Dual-Search: Leveraging Automatic Learning for Loss-free Multi-Exposure Image Fusion [60.221404321514086]
  マルチ露光画像融合(MEF)は、様々な露光レベルを表すデジタルイメージングの限界に対処するための重要な解決策である。 本稿では、ネットワーク構造と損失関数の両方を自動設計するための二段階最適化探索方式であるHSDS-MEFと呼ばれるMEFのためのハイブリッドスーパービジョンデュアルサーチ手法を提案する。
  論文  参考訳（メタデータ） (2023-09-03T08:07:26Z)
• DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability [75.9781362556431]
  本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。 DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T05:03:48Z)
• A Task-guided, Implicitly-searched and Meta-initialized Deep Model for Image Fusion [69.10255211811007]
  本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。 具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。 このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
  論文  参考訳（メタデータ） (2023-05-25T08:54:08Z)
• Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
  2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。 本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。 提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
  論文  参考訳（メタデータ） (2023-05-20T17:01:52Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Cross-Modal Fusion Distillation for Fine-Grained Sketch-Based Image Retrieval [55.21569389894215]
  本稿では,視覚変換器(XModalViT)のクロスアテンションフレームワークを提案する。 我々のフレームワークはまず、個々の写真からペア化されたデータポイントをマッピングし、両方のモダリティから情報を統一する融合表現にスケッチする。 次に、上記のモダリティ融合ネットワークの入力空間を、コントラストおよびリレーショナルなクロスモーダル知識蒸留により個々のモダリティの独立エンコーダに分離する。
  論文  参考訳（メタデータ） (2022-10-19T11:50:14Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• Unsupervised Image Fusion Method based on Feature Mutual Mapping [16.64607158983448]
  上記の問題に対処するために,教師なし適応画像融合法を提案する。 入力元画像間の画素の接続を計測するグローバルマップを構築した。 本手法は視覚的知覚と客観的評価の両方において優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-01-25T07:50:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。