論文の概要: Rethinking Few-Shot Image Fusion: Granular Ball Priors Enable General-Purpose Deep Fusion

• arxiv url: http://arxiv.org/abs/2504.08937v2
• Date: Thu, 17 Apr 2025 15:31:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 10:52:45.884264
• Title: Rethinking Few-Shot Image Fusion: Granular Ball Priors Enable General-Purpose Deep Fusion
• Title（参考訳）: グラニュラーボールは一般的な深部核融合を可能にする
• Authors: Minjie Deng, Yan Wei, Hao Zhai, An Wu, Yuncan Ouyang, Qianyao Peng,
• Abstract要約: 画像融合タスクでは、前もって実際の融合画像が存在しないことが根本的な課題である。 本稿では,ニューラルネットワークの事前知識の条件下での少数ショットトレーニングについて検討する。 本稿では,GBFFと呼ばれる新しい融合フレームワークと,数ショット前の設定に特化して設計されたグラニュラーボール重要抽出アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.716266981164592
• License:
• Abstract: In image fusion tasks, the absence of real fused images as priors presents a fundamental challenge. Most deep learning-based fusion methods rely on large-scale paired datasets to extract global weighting features from raw images, thereby generating fused outputs that approximate real fused images. In contrast to previous studies, this paper explores few-shot training of neural networks under the condition of having prior knowledge. We propose a novel fusion framework named GBFF, and a Granular Ball Significant Extraction algorithm specifically designed for the few-shot prior setting. All pixel pairs involved in the fusion process are initially modeled as a Coarse-Grained Granular Ball. At the local level, Fine-Grained Granular Balls are used to slide through the brightness space to extract Non-Salient Pixel Pairs, and perform splitting operations to obtain Salient Pixel Pairs. Pixel-wise weights are then computed to generate a pseudo-supervised image. At the global level, pixel pairs with significant contributions to the fusion process are categorized into the Positive Region, while those whose contributions cannot be accurately determined are assigned to the Boundary Region. The Granular Ball performs modality-aware adaptation based on the proportion of the positive region, thereby adjusting the neural network's loss function and enabling it to complement the information of the boundary region. Extensive experiments demonstrate the effectiveness of both the proposed algorithm and the underlying theory. Compared with state-of-the-art (SOTA) methods, our approach shows strong competitiveness in terms of both fusion time and image expressiveness. Our code is publicly available at:
• Abstract（参考訳）: 画像融合タスクでは、前もって実際の融合画像が存在しないことが根本的な課題である。 深層学習に基づく融合法の多くは、大規模なペア化されたデータセットを使用して、生画像からグローバルな重み付け特徴を抽出し、実際の融合画像に近似した融合出力を生成する。 従来の研究とは対照的に,本研究では,先行知識の条件下でのニューラルネットワークの少数ショットトレーニングについて検討する。 本稿では,GBFFと呼ばれる新しい融合フレームワークと,数ショット前の設定に特化して設計されたグラニュラーボール重要抽出アルゴリズムを提案する。 融合過程に関与する全てのピクセル対は、最初は粗粒グラニュラーボールとしてモデル化される。 局所レベルでは、ファイングレードグラニュラーボールを用いて輝度空間を滑り抜けて非Salient Pixel Pairを抽出し、Salient Pixel Pairsを得るための分割操作を行う。 そして、画素の重みを計算して擬似教師付き画像を生成する。 世界レベルでは、核融合プロセスに多大な貢献をするピクセル対は正の領域に分類され、正確には決定できないピクセル対は境界領域に割り当てられる。 グラニュラーボールは、正の領域の比率に基づいてモダリティ対応を行い、ニューラルネットワークの損失関数を調整し、境界領域の情報補完を可能にする。 広範囲な実験により提案アルゴリズムの有効性と基礎となる理論の有効性が示された。 現状技術 (SOTA) 法と比較すると, 融合時間と画像表現性の両面で強い競争力を示す。 私たちのコードは以下で公開されています。

関連論文リスト

• Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
  画像融合の本質は、ソース画像からの相補的な情報を統合することである。 DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
  論文  参考訳（メタデータ） (2024-10-16T06:28:49Z)
• A Task-guided, Implicitly-searched and Meta-initialized Deep Model for Image Fusion [69.10255211811007]
  本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。 具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。 このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
  論文  参考訳（メタデータ） (2023-05-25T08:54:08Z)
• LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images [98.36300655482196]
  我々は,融合タスクを数学的に定式化し,その最適解とそれを実装可能なネットワークアーキテクチャとの接続を確立する。 特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。 この新しいネットワークアーキテクチャに基づいて、赤外線および可視光画像を融合するために、エンドツーエンドの軽量核融合ネットワークを構築する。
  論文  参考訳（メタデータ） (2023-04-11T12:11:23Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [68.78897015832113]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Unsupervised Image Fusion Method based on Feature Mutual Mapping [16.64607158983448]
  上記の問題に対処するために,教師なし適応画像融合法を提案する。 入力元画像間の画素の接続を計測するグローバルマップを構築した。 本手法は視覚的知覚と客観的評価の両方において優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-01-25T07:50:14Z)
• TransFuse: A Unified Transformer-based Image Fusion Framework using Self-supervised Learning [5.849513679510834]
  画像融合(英: Image fusion)とは、複数のソース画像からの情報を補完情報と統合し、単一の画像の豊かさを改善する技術である。 2段階の手法では、大規模な自然言語データセット上でエンコーダ・デコーダネットワークをトレーニングすることで、タスク固有の大量のトレーニングデータの必要性を回避する。 本稿では, ネットワークがタスク固有の特徴を学習することを奨励する, 破壊再構成に基づく自己指導型学習手法を提案する。
  論文  参考訳（メタデータ） (2022-01-19T07:30:44Z)
• Image Fusion Transformer [75.71025138448287]
  画像融合では、異なるセンサから得られた画像を融合して、情報強化された単一の画像を生成する。 近年,画像融合のための有意義な特徴を符号化するために,最先端の手法で畳み込みニューラルネットワーク(CNN)が採用されている。 我々は,画像融合変換器 (IFT) を提案する。
  論文  参考訳（メタデータ） (2021-07-19T16:42:49Z)
• A Deep Decomposition Network for Image Processing: A Case Study for Visible and Infrared Image Fusion [38.17268441062239]
  本稿では畳み込みニューラルネットワークに基づく新しい画像分解法を提案する。 赤外線画像と可視光画像を入力し、それぞれ3つの高周波特徴画像と低周波特徴画像に分解する。 2つの特徴画像セットは、特定の融合戦略を用いて融合特徴画像を取得する。
  論文  参考訳（メタデータ） (2021-02-21T06:34:33Z)
• A Dual-branch Network for Infrared and Visible Image Fusion [20.15854042473049]
  高密度ブロックとGANに基づく新しい手法を提案する。 ネットワーク全体の各層に入力された画像可視光画像を直接挿入します。 提案手法により得られた融合画像は,複数の評価指標に基づいて良好なスコアが得られることを示す。
  論文  参考訳（メタデータ） (2021-01-24T04:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。