論文の概要: Conti-Fuse: A Novel Continuous Decomposition-based Fusion Framework for Infrared and Visible Images

• arxiv url: http://arxiv.org/abs/2406.04689v2
• Date: Wed, 27 Nov 2024 11:18:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-01 15:52:51.794181
• Title: Conti-Fuse: A Novel Continuous Decomposition-based Fusion Framework for Infrared and Visible Images
• Title（参考訳）: Conti-Fuse:赤外線と可視画像のための新しい連続分解型融合フレームワーク
• Authors: Hui Li, Haolong Ma, Chunyang Cheng, Zhongwei Shen, Xiaoning Song, Xiao-Jun Wu,
• Abstract要約: モーダル間および内部モーダル関係のための連続分解に基づく融合フレームワーク(Conti-Fuse)を提案する。 提案したConti-Fuseは,最先端の融合法よりも優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 11.50274982747009
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For better explore the relations of inter-modal and inner-modal, even in deep learning fusion framework, the concept of decomposition plays a crucial role. However, the previous decomposition strategies (base \& detail or low-frequency \& high-frequency) are too rough to present the common features and the unique features of source modalities, which leads to a decline in the quality of the fused images. The existing strategies treat these relations as a binary system, which may not be suitable for the complex generation task (e.g. image fusion). To address this issue, a continuous decomposition-based fusion framework (Conti-Fuse) is proposed. Conti-Fuse treats the decomposition results as few samples along the feature variation trajectory of the source images, extending this concept to a more general state to achieve continuous decomposition. This novel continuous decomposition strategy enhances the representation of complementary information of inter-modal by increasing the number of decomposition samples, thus reducing the loss of critical information. To facilitate this process, the continuous decomposition module (CDM) is introduced to decompose the input into a series continuous components. The core module of CDM, State Transformer (ST), is utilized to efficiently capture the complementary information from source modalities. Furthermore, a novel decomposition loss function is also designed which ensures the smooth progression of the decomposition process while maintaining linear growth in time complexity with respect to the number of decomposition samples. Extensive experiments demonstrate that our proposed Conti-Fuse achieves superior performance compared to the state-of-the-art fusion methods.
• Abstract（参考訳）: モーダル間とインナーモーダル間の関係をより深く探求するためには、深層学習融合フレームワークにおいても、分解の概念が重要な役割を担っている。 しかし、従来の分解戦略(ベース・アンド・ディテールや低周波・高周波)は、一般的な特徴やソース・モダリティの特徴を提示するには大きすぎるため、融合画像の品質は低下する。 既存の戦略ではこれらの関係をバイナリシステムとして扱うが、複雑な生成タスク(例えば画像融合)には適さないかもしれない。 この問題に対処するために,連続分解に基づく融合フレームワーク(Conti-Fuse)を提案する。 Conti-Fuseは、分解結果をソース画像の特徴変化軌跡に沿った少数のサンプルとして扱い、この概念をより一般的な状態に拡張し、連続的な分解を実現する。 この新たな連続分解戦略は、分解サンプルの数を増やすことにより、モーダル間の相補的な情報の表現を強化し、臨界情報の損失を低減する。 このプロセスを容易にするために、連続分解モジュール(CDM)を導入し、入力を連続したコンポーネントに分解する。 CDMの中核モジュールであるState Transformer (ST) は、ソースモードから補完情報を効率的に取得するために使用される。 さらに, 分解サンプル数の線形成長を維持しつつ, 分解過程の円滑な進行を確実にする新しい分解損失関数も設計されている。 大規模実験により,提案手法は現状の核融合法よりも優れた性能を示した。

関連論文リスト

• ControlFusion: A Controllable Image Fusion Framework with Language-Vision Degradation Prompts [58.99648692413168]
  現在の画像融合法は、現実の撮像シナリオで発生する複合劣化に対処するのに苦労している。 複合劣化を適応的に中和する制御フュージョンを提案する。 実験では、制御フュージョンは、融合品質と劣化処理においてSOTA融合法より優れている。
  論文  参考訳（メタデータ） (2025-03-30T08:18:53Z)
• DSPFusion: Image Fusion via Degradation and Semantic Dual-Prior Guidance [48.84182709640984]
  既存の融合法は高品質な画像に向いているが、厳しい状況下で撮影された劣化画像に苦慮している。 この研究は、textbfDegradation と textbfSemantic textbfPrior による劣化画像 textbfFusion (textbfDSPFusion) のための二重誘導フレームワークを提示する。
  論文  参考訳（メタデータ） (2025-03-30T08:18:50Z)
• Federated Low-Rank Tensor Estimation for Multimodal Image Reconstruction [9.075990246977891]
  本研究では,大規模マルチモーダルデータを管理するために,タッカー分解を適用し,共同分解とランダムなスケッチ処理を取り入れたフェデレーション画像再構成手法を提案する。 提案手法は,既存手法と比較して,再現性や通信圧縮に優れることを示す。
  論文  参考訳（メタデータ） (2025-02-04T23:02:46Z)
• Unsupervised Hyperspectral and Multispectral Image Fusion via Self-Supervised Modality Decoupling [16.923899489263945]
  ハイパースペクトル・マルチスペクトル画像融合(HMIF)は、低分解能ハイパースペクトル画像(LR-HSI)と高分解能マルチスペクトル画像(HR-MSI)を融合することを目的としている。 HMIF法は通常、2つのモードからの直接融合を効果的な監督なしに適用する。 本稿では, エンドツーエンドの自己教師型textbfModality-Decoupled textbfSpatial-textbfSpectral Fusion (textbfMossFuse) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-06T06:22:43Z)
• A Semantic-Aware and Multi-Guided Network for Infrared-Visible Image Fusion [41.34335755315773]
  マルチモダリティ画像融合は、2つのソース画像から特定のモダリティ情報と共有モダリティ情報を融合することを目的としている。 本稿では,3分岐エンコーダデコーダアーキテクチャと,それに対応する融合層を融合戦略として提案する。 可視・近赤外画像融合および医用画像融合タスクにおける最先端手法と比較して,本手法は競争力のある結果を得た。
  論文  参考訳（メタデータ） (2024-06-11T09:32:40Z)
• Low-Light Video Enhancement via Spatial-Temporal Consistent Illumination and Reflection Decomposition [68.6707284662443]
  低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的および静的なシーンの復元を目指している。 1つの重要な側面は、時間空間照明と外観強化バージョンに特化した一貫性の制約を定式化することである。 本稿では,レチネックスを基盤とした革新的なビデオ分解戦略について述べる。
  論文  参考訳（メタデータ） (2024-05-24T15:56:40Z)
• BlindDiff: Empowering Degradation Modelling in Diffusion Models for Blind Image Super-Resolution [52.47005445345593]
  BlindDiff は SISR のブラインド劣化に対処するための DM ベースのブラインドSR 手法である。 BlindDiffはMAPベースの最適化をDMにシームレスに統合する。 合成データセットと実世界のデータセットの両方の実験は、BlindDiffが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2024-03-15T11:21:34Z)
• FuseFormer: A Transformer for Visual and Thermal Image Fusion [3.6064695344878093]
  本稿では,従来の評価指標を損失関数として用いた場合の限界を緩和する画像融合問題に対する新しい手法を提案する。 提案手法は,局所的およびグローバルなコンテキスト情報に順応的に対処するトランスフォーマーベースのマルチスケール融合戦略を統合する。 提案手法は,新たな損失関数の定義とともに,他の競合融合アルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-01T19:40:39Z)
• A Multi-scale Information Integration Framework for Infrared and Visible Image Fusion [46.545365049713105]
  赤外線および可視画像融合は、ソース画像の強度と詳細情報を含む融合画像を生成することを目的としている。 既存の手法は主に損失関数の単純な重みを採用し、各モードの情報保持を決定する。 近赤外・可視画像融合のためのマルチスケールデュアルアテンション(MDA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-07T14:40:05Z)
• Reti-Diff: Illumination Degradation Image Restoration with Retinex-based Latent Diffusion Model [59.08821399652483]
  照明劣化画像復元(IDIR)技術は、劣化した画像の視認性を改善し、劣化した照明の悪影響を軽減することを目的としている。 これらのアルゴリズムのうち、拡散モデル(DM)に基づく手法は期待できる性能を示しているが、画像レベルの分布を予測する際に、重い計算要求や画素の不一致の問題に悩まされることが多い。 我々は、コンパクトな潜在空間内でDMを活用して、簡潔な指導先を生成することを提案し、IDIRタスクのためのReti-Diffと呼ばれる新しいソリューションを提案する。 Reti-Diff は Retinex-based Latent DM (RLDM) と Retinex-Guided Transformer (RG) の2つの鍵成分からなる。
  論文  参考訳（メタデータ） (2023-11-20T09:55:06Z)
• DePF: A Novel Fusion Approach based on Decomposition Pooling for Infrared and Visible Images [7.11574718614606]
  分解プール法(デプール法)に基づく新しい融合ネットワークを提案し,これをDePFと呼ぶ。 切り離しに基づくエンコーダは、ソース画像のマルチスケール画像と詳細特徴を同時に抽出するように設計されている。 実験により,提案手法は最先端技術よりも優れた核融合性能を示すことが示された。
  論文  参考訳（メタデータ） (2023-05-27T05:47:14Z)
• Bridging Component Learning with Degradation Modelling for Blind Image Super-Resolution [69.11604249813304]
  視覚障害者のためのコンポーネント分解・協調最適化ネットワーク(CDCN)を提案する。 CDCNは入力LR画像を特徴空間の構造と詳細成分に分解する。 本稿では,HR画像の細部と構造復元過程を協調的に監督する,劣化駆動型学習戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-03T14:53:56Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Joint Super-Resolution and Inverse Tone-Mapping: A Feature Decomposition Aggregation Network and A New Benchmark [0.0]
  本稿では,分解機構の潜在的なパワーを活用するために,FDAN(Feature Decomposition Aggregation Network)を提案する。 特に,特徴分解ブロック(FDB)を設計し,詳細と基本特徴マップの学習可能な分離を実現する。 また、SRITM-4K(SRITM-4K)という共同SR-ITMのための大規模データセットも収集し、堅牢なモデルトレーニングと評価のための汎用シナリオを提供する。
  論文  参考訳（メタデータ） (2022-07-07T15:16:36Z)
• Transformer-empowered Multi-scale Contextual Matching and Aggregation for Multi-contrast MRI Super-resolution [55.52779466954026]
  マルチコントラスト・スーパーレゾリューション (SR) 再構成により, SR画像の高画質化が期待できる。 既存の手法では、これらの特徴をマッチングし、融合させる効果的なメカニズムが欠如している。 そこで本稿では,トランスフォーマーを利用したマルチスケールコンテキストマッチングとアグリゲーション技術を開発することで,これらの問題を解決する新しいネットワークを提案する。
  論文  参考訳（メタデータ） (2022-03-26T01:42:59Z)
• Kullback-Leibler Divergence-Based Fuzzy $C$-Means Clustering Incorporating Morphological Reconstruction and Wavelet Frames for Image Segmentation [152.609322951917]
  そこで我々は,厳密なウェーブレットフレーム変換と形態的再構成操作を組み込むことで,Kulback-Leibler (KL) 発散に基づくFuzzy C-Means (FCM) アルゴリズムを考案した。 提案アルゴリズムはよく機能し、他の比較アルゴリズムよりもセグメンテーション性能が優れている。
  論文  参考訳（メタデータ） (2020-02-21T05:19:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。