論文の概要: Rethinking the Evaluation of Visible and Infrared Image Fusion

• arxiv url: http://arxiv.org/abs/2410.06811v1
• Date: Wed, 9 Oct 2024 12:12:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 03:30:47.217252
• Title: Rethinking the Evaluation of Visible and Infrared Image Fusion
• Title（参考訳）: 可視・赤外画像融合の評価再考
• Authors: Dayan Guan, Yixuan Wu, Tianzhu Liu, Alex C. Kot, Yanfeng Gu,
• Abstract要約: Visible と Infrared Image Fusion (VIF) は、様々な高度な視覚タスクにおいて大きな関心を集めている。 本稿では, セマンティック指向評価手法 (SEA) を提案する。
• 参考スコア（独自算出の注目度）: 39.53356881392218
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Visible and Infrared Image Fusion (VIF) has garnered significant interest across a wide range of high-level vision tasks, such as object detection and semantic segmentation. However, the evaluation of VIF methods remains challenging due to the absence of ground truth. This paper proposes a Segmentation-oriented Evaluation Approach (SEA) to assess VIF methods by incorporating the semantic segmentation task and leveraging segmentation labels available in latest VIF datasets. Specifically, SEA utilizes universal segmentation models, capable of handling diverse images and classes, to predict segmentation outputs from fused images and compare these outputs with segmentation labels. Our evaluation of recent VIF methods using SEA reveals that their performance is comparable or even inferior to using visible images only, despite nearly half of the infrared images demonstrating better performance than visible images. Further analysis indicates that the two metrics most correlated to our SEA are the gradient-based fusion metric $Q_{\text{ABF}}$ and the visual information fidelity metric $Q_{\text{VIFF}}$ in conventional VIF evaluation metrics, which can serve as proxies when segmentation labels are unavailable. We hope that our evaluation will guide the development of novel and practical VIF methods. The code has been released in \url{https://github.com/Yixuan-2002/SEA/}.
• Abstract（参考訳）: Visible と Infrared Image Fusion (VIF) は、オブジェクト検出やセマンティックセグメンテーションなど、幅広い高度なビジョンタスクにおいて大きな関心を集めている。 しかし, 基礎的真理が欠如しているため, VIF法の評価は依然として困難である。 本稿では、セグメンテーション指向評価手法(SEA)を提案し、セグメンテーションタスクを取り入れ、最新のVIFデータセットで利用可能なセグメンテーションラベルを活用する。 具体的には、多様な画像やクラスを扱えるユニバーサルセグメンテーションモデルを用いて、融合画像からのセグメンテーション出力を予測し、これらのアウトプットをセグメンテーションラベルと比較する。 近赤外画像の約半数が可視画像よりも優れた性能を示したにもかかわらず,SEAを用いた最近のVIF法の評価では,その性能は可視画像に比較して同等か劣っていることが明らかとなった。 さらに分析したところ、SEAと最も相関している2つのメトリクスは、勾配に基づく融合計量$Q_{\text{ABF}}$と、従来のVIF評価指標で$Q_{\text{VIFF}}$であり、セグメンテーションラベルが利用できないときにプロキシとして機能することを示している。 我々は,本評価が新規かつ実用的なVIF手法の開発を導くことを願っている。 コードは \url{https://github.com/Yixuan-2002/SEA/} でリリースされた。

関連論文リスト

• Intuitionistic Fuzzy Cognitive Maps for Interpretable Image Classification [2.130156029408832]
  本稿では,ドメインに依存しない,実装が容易で,CNNモデルに適用可能な新しいフレームワークであるInterpretable Intuitionistic FCM(I2FCM)を紹介する。 我々の知る限りでは、iFCMを画像分類に適用するのはこれが初めてである。
  論文  参考訳（メタデータ） (2024-08-07T12:58:39Z)
• CrossScore: Towards Multi-View Image Evaluation and Scoring [24.853612457257697]
  相互参照画像品質評価法は画像評価景観のギャップを埋める。 本手法は,地上の真理参照を必要とせず,精度の高い画像品質評価を可能にする。
  論文  参考訳（メタデータ） (2024-04-22T17:59:36Z)
• SatSynth: Augmenting Image-Mask Pairs through Diffusion Models for Aerial Semantic Segmentation [69.42764583465508]
  我々は,地球観測における注釈付きデータの不足に対処するために,生成的画像拡散の可能性を探る。 我々の知る限りでは、衛星セグメンテーションのための画像と対応するマスクの両方を最初に生成する。
  論文  参考訳（メタデータ） (2024-03-25T10:30:22Z)
• Estimating Physical Information Consistency of Channel Data Augmentation for Remote Sensing Images [3.063197102484114]
  本稿では,チャネル拡張手法がRS画像の物理情報に影響を及ぼすかどうかを推定する手法を提案する。 物理一貫性を評価するために,オリジナルおよび拡張ピクセルシグネチャに関連するスコアを比較した。
  論文  参考訳（メタデータ） (2024-03-21T16:48:45Z)
• Enhancing Point Annotations with Superpixel and Confidence Learning Guided for Improving Semi-Supervised OCT Fluid Segmentation [17.85298271262749]
  Superpixel and Confident Learning Guide Point s Network (SCLGPA-Net)。 Superpixel-Guided Pseudo-Label Generation (SGPLG)モジュールは擬似ラベルとピクセルレベルのラベル信頼マップを生成する。 CLGLR(Confident Learning Guided Label Refinement)モジュールは、擬似ラベル内のエラー情報を識別し、さらなる改善につながる。
  論文  参考訳（メタデータ） (2023-06-05T04:21:00Z)
• Reflection Invariance Learning for Few-shot Semantic Segmentation [53.20466630330429]
  Few-shot semantic segmentation (FSS) は、いくつかのアノテーション付きサポートイメージを持つクエリイメージにおいて、目に見えないクラスのオブジェクトをセグメントすることを目的としている。 本稿では,マルチビューマッチング方式でリフレクション不変性をマイニングするための,新しい数ショットセグメンテーションフレームワークを提案する。 PASCAL-$5textiti$とCOCO-$20textiti$データセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-01T15:14:58Z)
• Inverse Image Frequency for Long-tailed Image Recognition [59.40098825416675]
  Inverse Image Frequency (IIF) と呼ばれる新しいデバイアス法を提案する。 IIFは畳み込みニューラルネットワークの分類層におけるロジットの乗法的マージン調整変換である。 我々の実験では、IIFは長い尾のベンチマークにおいて、最先端の技術を超越していることが示されている。
  論文  参考訳（メタデータ） (2022-09-11T13:31:43Z)
• A-FMI: Learning Attributions from Deep Networks via Feature Map Importance [58.708607977437794]
  勾配に基づくアトリビューション法は畳み込みニューラルネットワーク(CNN)の理解を助けることができる 帰属特徴の冗長性と勾配飽和問題は、帰属方法がまだ直面する課題である。 本稿では,各特徴マップの寄与度を高めるための新しい概念,特徴マップ重要度 (FMI) と,勾配飽和問題に対処するためのFMIによる新しい帰属法を提案する。
  論文  参考訳（メタデータ） (2021-04-12T14:54:44Z)
• Inter-class Discrepancy Alignment for Face Recognition [55.578063356210144]
  IA(Inter-class DiscrepancyAlignment)という統合フレームワークを提案する。 IDA-DAOは、画像と隣人の相違を考慮した類似度スコアの整合に使用される。 IDA-SSEは、GANで生成された仮想候補画像を導入することで、説得力のあるクラス間隣人を提供できます。
  論文  参考訳（メタデータ） (2021-03-02T08:20:08Z)
• Learning Discriminative Feature with CRF for Unsupervised Video Object Segmentation [34.1031534327244]
  本稿では,非教師付きビデオオブジェクトセグメンテーションタスクに対処するために,識別機能ネットワーク(DFNet)を導入する。 DFNetは最先端の手法を大差で上回り、平均IoUスコアは83.4%である。 DFNetはイメージオブジェクトのコセグメンテーションタスクにも適用されます。
  論文  参考訳（メタデータ） (2020-08-04T01:53:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。