論文の概要: Variational Probabilistic Fusion Network for RGB-T Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2307.08536v1
• Date: Mon, 17 Jul 2023 14:53:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 12:46:14.136565
• Title: Variational Probabilistic Fusion Network for RGB-T Semantic Segmentation
• Title（参考訳）: RGB-Tセマンティックセグメンテーションのための変分確率核融合ネットワーク
• Authors: Baihong Lin, Zengrong Lin, Yulan Guo, Yulan Zhang, Jianxiao Zou, Shicai Fan
• Abstract要約: RGB-Tセマンティックセグメンテーションは、照明条件の悪いハードシーンを扱うために広く採用されている。 既存の手法では、セグメンテーションのための最適な融合特徴を見つけようとするが、結果としてモダリティノイズ、クラス不均衡、モダリティバイアスに敏感になる。 本稿では, 拡散特性をランダム変数とみなす新しい変動確率核融合ネットワーク(VPFNet)を提案する。
• 参考スコア（独自算出の注目度）: 22.977168376864494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RGB-T semantic segmentation has been widely adopted to handle hard scenes with poor lighting conditions by fusing different modality features of RGB and thermal images. Existing methods try to find an optimal fusion feature for segmentation, resulting in sensitivity to modality noise, class-imbalance, and modality bias. To overcome the problems, this paper proposes a novel Variational Probabilistic Fusion Network (VPFNet), which regards fusion features as random variables and obtains robust segmentation by averaging segmentation results under multiple samples of fusion features. The random samples generation of fusion features in VPFNet is realized by a novel Variational Feature Fusion Module (VFFM) designed based on variation attention. To further avoid class-imbalance and modality bias, we employ the weighted cross-entropy loss and introduce prior information of illumination and category to control the proposed VFFM. Experimental results on MFNet and PST900 datasets demonstrate that the proposed VPFNet can achieve state-of-the-art segmentation performance.
• Abstract（参考訳）: RGB-Tセマンティックセグメンテーションは、RGBと熱画像の異なるモジュラリティ特徴を融合することにより、照明条件の悪いハードシーンを扱うために広く採用されている。 既存の手法では、セグメンテーションのための最適な融合特徴を見つけようとしており、モダリティノイズ、クラス不均衡、モダリティバイアスに対する感度をもたらす。 そこで本研究では, 拡散特性をランダムな変数とみなし, 融合特性の複数のサンプルに基づいて, セグメンテーションの結果を平均化することにより, 堅牢なセグメンテーションを実現する新しい変動確率核融合ネットワーク(VPFNet)を提案する。 VPFNetにおける融合特徴のランダムサンプル生成は、変動注意に基づく新しい変分特徴融合モジュール(VFFM)によって実現される。 さらに,クラス不均衡やモダリティバイアスを回避するために,重み付きクロスエントロピー損失を採用し,提案するvffmを制御するために照明やカテゴリの事前情報を導入する。 MFNetとPST900データセットの実験結果は、提案したVPFNetが最先端のセグメンテーション性能を実現できることを示した。

関連論文リスト

• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)
• Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
  従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。 近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。 本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
  論文  参考訳（メタデータ） (2023-06-17T14:28:08Z)
• Equivariant Multi-Modality Image Fusion [124.11300001864579]
  エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。 我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。 実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2023-05-19T05:50:24Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• Mirror Complementary Transformer Network for RGB-thermal Salient Object Detection [16.64781797503128]
  RGB-熱的物体検出(RGB-T SOD)は、視光対と熱赤外画像対の一般的な顕著な物体を見つけることを目的としている。 本稿では,RGB-T SODのための新しいミラー補完トランスフォーマネットワーク(MCNet)を提案する。 ベンチマークとVT723データセットの実験により、提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-07T20:26:09Z)
• Transformer-based Network for RGB-D Saliency Detection [82.6665619584628]
  RGB-Dサリエンシ検出の鍵は、2つのモードにわたる複数のスケールで情報を完全なマイニングとヒューズすることである。 コンバータは機能融合と機能拡張の両面において高い有効性を示す一様操作であることを示す。 提案するネットワークは,最先端のRGB-D値検出手法に対して良好に動作する。
  論文  参考訳（メタデータ） (2021-12-01T15:53:58Z)
• Anomaly Detection of Defect using Energy of Point Pattern Features within Random Finite Set Framework [5.7564383437854625]
  本稿では,点パターンデータを用いた異常検出をモデルとした産業的欠陥検出のための効率的な手法を提案する。 我々はこれらの制限を克服するために、まず、ローカル/ポイントパターンの特徴を伝達学習(transfer learning)を用いて提案する。 提案手法をMVTec ADデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-08-27T08:06:37Z)
• Learning Selective Mutual Attention and Contrast for RGB-D Saliency Detection [145.4919781325014]
  クロスモーダル情報を効果的に融合する方法は、RGB-Dの有能な物体検出の鍵となる問題である。 多くのモデルは特徴融合戦略を用いるが、低次点対点融合法によって制限されている。 本研究では,異なるモダリティから注目とコンテキストを融合させることにより,新たな相互注意モデルを提案する。
  論文  参考訳（メタデータ） (2020-10-12T08:50:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。