論文の概要: Semantic Image Fusion

• arxiv url: http://arxiv.org/abs/2110.06697v1
• Date: Wed, 13 Oct 2021 13:15:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 20:08:39.214561
• Title: Semantic Image Fusion
• Title（参考訳）: セマンティック画像融合
• Authors: P.R. Hill, D.R. Bull
• Abstract要約: 本稿では,事前学習したCNNネットワークアーキテクチャを用いた視覚コンテンツの意味結合システムを提案する。 単純な "choose maximum" と "local majority" のフィルタベースの融合ルールは、特徴マップの融合に使用される。 開発手法は,最先端技術に同等の低レベル核融合性能を与えることができる。
• 参考スコア（独自算出の注目度）: 2.4366811507669124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image fusion methods and metrics for their evaluation have conventionally used pixel-based or low-level features. However, for many applications, the aim of image fusion is to effectively combine the semantic content of the input images. This paper proposes a novel system for the semantic combination of visual content using pre-trained CNN network architectures. Our proposed semantic fusion is initiated through the fusion of the top layer feature map outputs (for each input image)through gradient updating of the fused image input (so-called image optimisation). Simple "choose maximum" and "local majority" filter based fusion rules are utilised for feature map fusion. This provides a simple method to combine layer outputs and thus a unique framework to fuse single-channel and colour images within a decomposition pre-trained for classification and therefore aligned with semantic fusion. Furthermore, class activation mappings of each input image are used to combine semantic information at a higher level. The developed methods are able to give equivalent low-level fusion performance to state of the art methods while providing a unique architecture to combine semantic information from multiple images.
• Abstract（参考訳）: 画像融合法と評価基準は従来,ピクセルベースや低レベルの特徴を用いた。 しかし、多くのアプリケーションにおいて、画像融合の目的は、入力画像の意味内容を効果的に組み合わせることである。 本稿では,事前学習したCNNネットワークアーキテクチャを用いた視覚コンテンツの意味結合システムを提案する。 提案するセマンティクス融合は,上層特徴マップ出力(各入力画像に対する)と,融合画像入力の勾配更新(いわゆる画像最適化)の融合によって開始される。 単純な "choose maximum" と "local majority" フィルタベースの融合ルールがフィーチャーマップの融合に利用される。 これにより、レイヤー出力を結合する簡単な方法が提供され、分類のために事前訓練された分解内で単一のチャネルとカラーイメージを融合するユニークなフレームワークを提供する。 さらに、各入力画像のクラスアクティベーションマッピングを使用して、より高いレベルで意味情報を結合する。 開発した手法は,複数の画像から意味情報を合成するユニークなアーキテクチャを提供しながら,同等の低レベル融合性能を最先端の手法に与えることができる。

関連論文リスト

• Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
  画像融合の本質は、ソース画像からの相補的な情報を統合することである。 DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
  論文  参考訳（メタデータ） (2024-10-16T06:28:49Z)
• Text-IF: Leveraging Semantic Text Guidance for Degradation-Aware and Interactive Image Fusion [26.809259323430368]
  そこで本研究では,テキストIF(Text-IF)と呼ばれる画像融合タスクにおいて,意味的テキスト誘導画像融合モデルを活用する新しい手法を提案する。 テキストIFは、オールインワンの赤外線および可視画像劣化認識処理およびインタラクティブなフレキシブル融合結果にアクセスできる。 このように、Text-IFはマルチモーダル画像融合だけでなく、マルチモーダル情報融合も実現している。
  論文  参考訳（メタデータ） (2024-03-25T03:06:45Z)
• From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion [66.33467192279514]
  我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。 本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-12-31T08:13:47Z)
• Diffusion Hyperfeatures: Searching Through Time and Space for Semantic Correspondence [88.00004819064672]
  Diffusion Hyperfeaturesは、マルチスケールおよびマルチタイムステップの機能マップをピクセル単位の機能記述子に統合するためのフレームワークである。 提案手法は,SPair-71k実画像ベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:58:05Z)
• LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images [98.36300655482196]
  我々は,融合タスクを数学的に定式化し,その最適解とそれを実装可能なネットワークアーキテクチャとの接続を確立する。 特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。 この新しいネットワークアーキテクチャに基づいて、赤外線および可視光画像を融合するために、エンドツーエンドの軽量核融合ネットワークを構築する。
  論文  参考訳（メタデータ） (2023-04-11T12:11:23Z)
• Unsupervised Image Fusion Method based on Feature Mutual Mapping [16.64607158983448]
  上記の問題に対処するために,教師なし適応画像融合法を提案する。 入力元画像間の画素の接続を計測するグローバルマップを構築した。 本手法は視覚的知覚と客観的評価の両方において優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-01-25T07:50:14Z)
• UFA-FUSE: A novel deep supervised and hybrid model for multi-focus image fusion [4.105749631623888]
  伝統的および深層学習に基づく融合法は、一連の後処理手順を通じて中間決定マップを生成する。 深層学習に基づく画像再構成技術に着想を得て,多焦点画像融合ネットワークフレームワークを提案する。 提案手法は,19種類の最先端核融合法と比較して優れた核融合性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-01-12T14:33:13Z)
• Deep Image Compositing [93.75358242750752]
  ユーザ入力なしで高品質の画像合成を自動生成する手法を提案する。 ラプラシアン・ピラミッド・ブレンディングにインスパイアされ、フォアグラウンドや背景画像からの情報を効果的に融合させるために、密結合型多ストリーム融合ネットワークが提案されている。 実験により,提案手法は高品質な合成物を自動生成し,定性的かつ定量的に既存手法より優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-11-04T06:12:24Z)
• Learning to Compose Hypercolumns for Visual Correspondence [57.93635236871264]
  本稿では,画像に条件付けされた関連レイヤを活用することで,動的に効率的な特徴を構成する視覚対応手法を提案する。 提案手法はダイナミックハイパーピクセルフロー(Dynamic Hyperpixel Flow)と呼ばれ,深層畳み込みニューラルネットワークから少数の関連層を選択することにより,高速にハイパーカラム機能を構成することを学習する。
  論文  参考訳（メタデータ） (2020-07-21T04:03:22Z)
• Weight mechanism: adding a constant in concatenation of series connect [0.0]
  直列接続の連結における特徴写像間のギャップを低減するために,重み機構という手法を提案する。 具体的には、ウェイトメカニズムをテストするためにFused U-Netという新しいアーキテクチャを設計し、0.12% mIoUの改善ももたらした。
  論文  参考訳（メタデータ） (2020-03-07T03:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。