論文の概要: FuseFormer: A Transformer for Visual and Thermal Image Fusion

• arxiv url: http://arxiv.org/abs/2402.00971v1
• Date: Thu, 1 Feb 2024 19:40:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 17:50:59.634207
• Title: FuseFormer: A Transformer for Visual and Thermal Image Fusion
• Title（参考訳）: FuseFormer: 画像と熱画像の融合のためのトランスフォーマー
• Authors: Aytekin Erdogan, Erdem Akagunduz
• Abstract要約: 本稿では,評価指標を損失関数として使用する際の限界を緩和する画像融合手法を提案する。 提案手法は,局所的およびグローバルなコンテキスト情報の両方に順応的に対処する,トランスフォーマーベースのマルチスケール融合戦略を統合する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image fusion is the process of combining images from different sensors into a single image that incorporates all relevant information. The majority of state-of-the-art image fusion techniques use deep learning methods to extract meaningful features; however, they primarily integrate local features without considering the image's broader context. To overcome this limitation, Transformer-based models have emerged as a promising solution, aiming to capture general context dependencies through attention mechanisms. Since there is no ground truth for image fusion, the loss functions are structured based on evaluation metrics, such as the structural similarity index measure (SSIM). By doing so, we create a bias towards the SSIM and, therefore, the input visual band image. The objective of this study is to propose a novel methodology for image fusion that mitigates the limitations associated with using evaluation metrics as loss functions. Our approach integrates a transformer-based multi-scale fusion strategy, which adeptly addresses both local and global context information. This integration not only refines the individual components of the image fusion process but also significantly enhances the overall efficacy of the method. Our proposed method follows a two-stage training approach, where an auto-encoder is initially trained to extract deep features at multiple scales at the first stage. For the second stage, we integrate our fusion block and change the loss function as mentioned. The multi-scale features are fused using a combination of Convolutional Neural Networks (CNNs) and Transformers. The CNNs are utilized to capture local features, while the Transformer handles the integration of general context features.
• Abstract（参考訳）: イメージ融合(image fusion)とは、異なるセンサーからの画像を、関連するすべての情報を組み込んだ単一の画像に合成するプロセスである。 最先端の画像融合技術の大半は、深層学習を用いて意味のある特徴を抽出するが、画像のより広い文脈を考慮せずに主に局所的な特徴を統合する。 この制限を克服するために、トランスフォーマティブベースのモデルが有望なソリューションとして登場し、アテンションメカニズムを通じて一般的なコンテキスト依存性を捉えることを目的としている。 画像融合には基礎的な真理がないため、損失関数は構造類似度指数測定(SSIM)などの評価指標に基づいて構造化される。 これにより、SSIMに対するバイアスが生じ、入力されたビジュアルバンドイメージが生成される。 本研究の目的は,評価指標を損失関数として用いる際の限界を緩和する画像融合の新しい手法を提案することである。 本手法は,ローカルとグローバルの両方のコンテキスト情報を扱うトランスフォーマティブ・マルチスケール・フュージョン・ストラテジーを統合する。 この統合により、画像融合プロセスの個々のコンポーネントが洗練されるだけでなく、全体の有効性も大幅に向上する。 提案手法は,2段階の訓練手法を踏襲し,まず,複数スケールの深部特徴を抽出するオートエンコーダを訓練する。 第2段階では、核融合ブロックを統合し、前述の損失関数を変更する。 マルチスケール機能は、畳み込みニューラルネットワーク(CNN)とトランスフォーマーを組み合わせることで融合される。 CNNはローカル機能をキャプチャするために使用され、Transformerは一般的なコンテキスト機能の統合を処理する。

関連論文リスト

• Affine-based Deformable Attention and Selective Fusion for Semi-dense Matching [30.272791354494373]
  モデル断面変形に対するアフィン系局所的注意を導入する。 また、クロスアテンションからローカルメッセージとグローバルメッセージをマージするための選択的融合も提示する。
  論文  参考訳（メタデータ） (2024-05-22T17:57:37Z)
• CT-MVSNet: Efficient Multi-View Stereo with Cross-scale Transformer [8.962657021133925]
  クロススケールトランス(CT)プロセスは、追加計算なしで異なる段階の表現を特徴付ける。 複数のスケールで異なる対話型アテンションの組み合わせを利用する適応型マッチング認識変換器(AMT)を導入する。 また、より細かなコストボリューム構成に大まかにグローバルな意味情報を埋め込む2機能ガイドアグリゲーション(DFGA)も提案する。
  論文  参考訳（メタデータ） (2023-12-14T01:33:18Z)
• Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
  画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:50:37Z)
• A Task-guided, Implicitly-searched and Meta-initialized Deep Model for Image Fusion [69.10255211811007]
  本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。 具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。 このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
  論文  参考訳（メタデータ） (2023-05-25T08:54:08Z)
• Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
  本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
  論文  参考訳（メタデータ） (2022-07-21T12:50:54Z)
• Unsupervised Image Fusion Method based on Feature Mutual Mapping [16.64607158983448]
  上記の問題に対処するために,教師なし適応画像融合法を提案する。 入力元画像間の画素の接続を計測するグローバルマップを構築した。 本手法は視覚的知覚と客観的評価の両方において優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-01-25T07:50:14Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Image Fusion Transformer [75.71025138448287]
  画像融合では、異なるセンサから得られた画像を融合して、情報強化された単一の画像を生成する。 近年,画像融合のための有意義な特徴を符号化するために,最先端の手法で畳み込みニューラルネットワーク(CNN)が採用されている。 我々は,画像融合変換器 (IFT) を提案する。
  論文  参考訳（メタデータ） (2021-07-19T16:42:49Z)
• FeatMatch: Feature-Based Augmentation for Semi-Supervised Learning [64.32306537419498]
  本稿では,複雑な変換を多様に生成する特徴量に基づく改良・拡張手法を提案する。 これらの変換は、クラスタリングを通じて抽出したクラス内およびクラス間の両方の情報も利用します。 提案手法は,大規模データセットにスケールアップしながら,より小さなデータセットに対して,現在の最先端技術に匹敵するものであることを実証する。
  論文  参考訳（メタデータ） (2020-07-16T17:55:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。