論文の概要: Rethinking Few-Shot Fusion: Granular Ball Priors Enable General-Purpose Deep Image Fusion

• arxiv url: http://arxiv.org/abs/2504.08937v1
• Date: Fri, 11 Apr 2025 19:33:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:55:48.082340
• Title: Rethinking Few-Shot Fusion: Granular Ball Priors Enable General-Purpose Deep Image Fusion
• Title（参考訳）: グラニュラーボールで深部核融合ができる「Few-Shot Fusion」
• Authors: Minjie Deng, Yan Wei, Hao Zhai, An Wu, Yuncan Ouyang, Qianyao Peng,
• Abstract要約: 画像融合タスクでは、実際の融合画像が予めないため、ほとんどの深層学習ベースの融合手法は、大規模データ組の原画像から大域的な重み付け特性を得る。 本稿では、グラニュラーボール適応を用いて、深層ネットワークの先行として輝度空間の特徴を抽出する。 これにより、一般画像融合ネットワークのための数発の訓練が可能となり、GBFF融合方式を提案する。
• 参考スコア（独自算出の注目度）: 0.716266981164592
• License:
• Abstract: In image fusion tasks, due to the lack of real fused images as priors, most deep learning-based fusion methods obtain global weight features from original images in large-scale data pairs to generate images that approximate real fused images. However, unlike previous studies, this paper utilizes Granular Ball adaptation to extract features in the brightness space as priors for deep networks, enabling the fusion network to converge quickly and complete the fusion task. This leads to few-shot training for a general image fusion network, and based on this, we propose the GBFF fusion method. According to the information expression division of pixel pairs in the original fused image, we classify pixel pairs with significant performance as the positive domain and non-significant pixel pairs as the boundary domain. We perform split inference in the brightness space using Granular Ball adaptation to compute weights for pixels that express information to varying degrees, generating approximate supervision images that provide priors for the neural network in the structural brightness space. Additionally, the extracted global saliency features also adaptively provide priors for setting the loss function weights of each image in the network, guiding the network to converge quickly at both global and pixel levels alongside the supervised images, thereby enhancing the expressiveness of the fused images. Each modality only used 10 pairs of images as the training set, completing the fusion task with a limited number of iterations. Experiments validate the effectiveness of the algorithm and theory, and qualitative and quantitative comparisons with SOTA methods show that this approach is highly competitive in terms of fusion time and image expressiveness.
• Abstract（参考訳）: 画像融合タスクでは、実際の融合画像の欠如により、ほとんどの深層学習ベースの融合手法は、大規模データ組の原画像からグローバルな重量特性を取得し、実際の融合画像に近似した画像を生成する。 しかし, 従来の研究とは異なり, 本論文では, グラニュラーボール適応を用いて, 深層ネットワークの先行として輝度空間の特徴を抽出し, 融合ネットワークを迅速に収束させ, 融合処理を完了させる。 これにより、一般画像融合ネットワークのための数発の訓練が可能となり、GBFF融合方式を提案する。 元の融合画像における画素対の情報表現分割に基づき、正の領域として重要な性能を持つ画素対を境界領域として非重要な画素対を分類する。 グラニュラーボール適応を用いた輝度空間における分割推論を行い、様々な次数に情報を表す画素の重みを計算し、構造的輝度空間におけるニューラルネットワークの事前情報を提供する近似的な監督画像を生成する。 さらに、抽出したグローバルサリエンシ特徴は、ネットワーク内の各画像の損失関数重みを設定するための事前情報を適応的に提供し、教師付き画像とともに、グローバルレベルとピクセルレベルの両方に迅速に収束するようにネットワークを誘導し、融合画像の表現性を高める。 それぞれのモダリティはトレーニングセットとして10対のイメージのみを使用し、限られた回数のイテレーションで融合タスクを完了した。 実験はアルゴリズムと理論の有効性を検証し、SOTA法と定性的かつ定量的に比較した結果、この手法は融合時間と画像表現性において高い競争力を持つことが示された。

関連論文リスト

• Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
  画像融合の本質は、ソース画像からの相補的な情報を統合することである。 DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
  論文  参考訳（メタデータ） (2024-10-16T06:28:49Z)
• A Task-guided, Implicitly-searched and Meta-initialized Deep Model for Image Fusion [69.10255211811007]
  本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。 具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。 このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
  論文  参考訳（メタデータ） (2023-05-25T08:54:08Z)
• LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images [98.36300655482196]
  我々は,融合タスクを数学的に定式化し,その最適解とそれを実装可能なネットワークアーキテクチャとの接続を確立する。 特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。 この新しいネットワークアーキテクチャに基づいて、赤外線および可視光画像を融合するために、エンドツーエンドの軽量核融合ネットワークを構築する。
  論文  参考訳（メタデータ） (2023-04-11T12:11:23Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [68.78897015832113]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Unsupervised Image Fusion Method based on Feature Mutual Mapping [16.64607158983448]
  上記の問題に対処するために,教師なし適応画像融合法を提案する。 入力元画像間の画素の接続を計測するグローバルマップを構築した。 本手法は視覚的知覚と客観的評価の両方において優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-01-25T07:50:14Z)
• TransFuse: A Unified Transformer-based Image Fusion Framework using Self-supervised Learning [5.849513679510834]
  画像融合(英: Image fusion)とは、複数のソース画像からの情報を補完情報と統合し、単一の画像の豊かさを改善する技術である。 2段階の手法では、大規模な自然言語データセット上でエンコーダ・デコーダネットワークをトレーニングすることで、タスク固有の大量のトレーニングデータの必要性を回避する。 本稿では, ネットワークがタスク固有の特徴を学習することを奨励する, 破壊再構成に基づく自己指導型学習手法を提案する。
  論文  参考訳（メタデータ） (2022-01-19T07:30:44Z)
• Image Fusion Transformer [75.71025138448287]
  画像融合では、異なるセンサから得られた画像を融合して、情報強化された単一の画像を生成する。 近年,画像融合のための有意義な特徴を符号化するために,最先端の手法で畳み込みニューラルネットワーク(CNN)が採用されている。 我々は,画像融合変換器 (IFT) を提案する。
  論文  参考訳（メタデータ） (2021-07-19T16:42:49Z)
• A Deep Decomposition Network for Image Processing: A Case Study for Visible and Infrared Image Fusion [38.17268441062239]
  本稿では畳み込みニューラルネットワークに基づく新しい画像分解法を提案する。 赤外線画像と可視光画像を入力し、それぞれ3つの高周波特徴画像と低周波特徴画像に分解する。 2つの特徴画像セットは、特定の融合戦略を用いて融合特徴画像を取得する。
  論文  参考訳（メタデータ） (2021-02-21T06:34:33Z)
• A Dual-branch Network for Infrared and Visible Image Fusion [20.15854042473049]
  高密度ブロックとGANに基づく新しい手法を提案する。 ネットワーク全体の各層に入力された画像可視光画像を直接挿入します。 提案手法により得られた融合画像は,複数の評価指標に基づいて良好なスコアが得られることを示す。
  論文  参考訳（メタデータ） (2021-01-24T04:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。