論文の概要: Deep Fourier-embedded Network for Bi-modal Salient Object Detection

• arxiv url: http://arxiv.org/abs/2411.18409v1
• Date: Wed, 27 Nov 2024 14:55:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:26:24.436221
• Title: Deep Fourier-embedded Network for Bi-modal Salient Object Detection
• Title（参考訳）: バイモーダル・サリエント・オブジェクト検出のためのディープフーリエ組込みネットワーク
• Authors: Pengfei Lyu, Xiaosheng Yu, Chengdong Wu, Jagath C. Rajapakse,
• Abstract要約: 本稿では,RGBのバイモーダル情報と熱画像の学習を行うために,純粋に高速なフーリエ変換モデル,ディープフーリエ埋め込みネットワーク(DFENet)を提案する。 復号化時に信頼性の高い詳細情報を得るために、周波数分解エッジ認識モジュール(FEM)を設計する。 提案したDFENetは既存の12種類の最先端モデルより優れていることを示す。
• 参考スコア（独自算出の注目度）: 9.21394450518738
• License:
• Abstract: The rapid development of deep learning provides a significant improvement of salient object detection combining both RGB and thermal images. However, existing deep learning-based models suffer from two major shortcomings. First, the computation and memory demands of Transformer-based models with quadratic complexity are unbearable, especially in handling high-resolution bi-modal feature fusion. Second, even if learning converges to an ideal solution, there remains a frequency gap between the prediction and ground truth. Therefore, we propose a purely fast Fourier transform-based model, namely deep Fourier-embedded network (DFENet), for learning bi-modal information of RGB and thermal images. On one hand, fast Fourier transform efficiently fetches global dependencies with low complexity. Inspired by this, we design modal-coordinated perception attention to fuse the frequency gap between RGB and thermal modalities with multi-dimensional representation enhancement. To obtain reliable detailed information during decoding, we design the frequency-decomposed edge-aware module (FEM) to clarify object edges by deeply decomposing low-level features. Moreover, we equip proposed Fourier residual channel attention block in each decoder layer to prioritize high-frequency information while aligning channel global relationships. On the other hand, we propose co-focus frequency loss (CFL) to steer FEM towards minimizing the frequency gap. CFL dynamically weights hard frequencies during edge frequency reconstruction by cross-referencing the bi-modal edge information in the Fourier domain. This frequency-level refinement of edge features further contributes to the quality of the final pixel-level prediction. Extensive experiments on four bi-modal salient object detection benchmark datasets demonstrate our proposed DFENet outperforms twelve existing state-of-the-art models.
• Abstract（参考訳）: 深層学習の急速な発展は、RGBと熱画像の両方を組み合わせた有能な物体検出を大幅に改善する。 しかし、既存のディープラーニングベースのモデルは2つの大きな欠点に悩まされている。 第一に、トランスフォーマーをベースとした2次複雑さを持つモデルの計算とメモリ要求は、特に高分解能バイモーダルな特徴融合を扱う場合、実現不可能である。 第二に、たとえ学習が理想的な解に収束しても、予測と基底真理の間には周波数ギャップが残っている。 そこで本研究では,RGBと熱画像のバイモーダル情報を学習するための,純粋に高速なフーリエ変換モデルであるディープフーリエ埋め込みネットワーク(DFENet)を提案する。 一方、高速フーリエ変換は、複雑性の低いグローバル依存関係を効率的に取得する。 そこで本研究では,RGBと熱モダリティの周波数ギャップを多次元的表現強調で融合させるため,モーダルコーディネート・アテンションを設計する。 低レベルの特徴を深く分解することで、オブジェクトのエッジを明確にするための周波数分解エッジ認識モジュール(FEM)を設計する。 さらに、各デコーダ層にフーリエ残チャンネルアテンションブロックを設け、チャネルグローバルな関係を整列させながら高周波情報を優先する。 一方、周波数ギャップを最小限に抑えるため、FEMを操るコフォーカス周波数損失(CFL)を提案する。 CFLは、フーリエ領域のバイモーダルエッジ情報を相互参照することにより、エッジ周波数再構成中のハード周波数を動的に重み付けする。 この周波数レベルのエッジ特徴の洗練は、最終的なピクセルレベルの予測の品質にさらに寄与する。 4つのバイモーダルな正当性オブジェクト検出ベンチマークデータセットに対する大規模な実験は、提案したDFENetが既存の12の最先端モデルより優れていることを示している。

関連論文リスト

• Bringing RGB and IR Together: Hierarchical Multi-Modal Enhancement for Robust Transmission Line Detection [67.02804741856512]
  高速かつ高精度なTL検出のために,RGBとIRデータを統合したHMMEN(Hierarchical Multi-Modal Enhancement Network)を提案する。 提案手法では,(1)階層的RGBおよびIR特徴写像を大まかに融合・拡張するMMEB,(2)デコーダ出力とIR特徴写像の不整合を変形可能な畳み込みを利用して補正するFAB,の2つの重要な構成要素を紹介する。
  論文  参考訳（メタデータ） (2025-01-25T06:21:06Z)
• MDNF: Multi-Diffusion-Nets for Neural Fields on Meshes [5.284425534494986]
  本稿では,空間領域と周波数領域にまたがる多分解能を持つトライアングルメッシュ上でのニューラルフィールドを表現する新しいフレームワークを提案する。 ニューラルフーリエフィルタバンク(NFFB)にインスパイアされた我々のアーキテクチャは、より微細な分解能レベルと高い周波数帯域を関連付けることによって周波数領域と周波数領域を分解する。 本稿では, 合成RGB関数, UVテクスチャ座標, 正規化など, 多様なニューラルネットワークへの応用を通じて, 本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-04T19:08:13Z)
• Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
  従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。 近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。 本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
  論文  参考訳（メタデータ） (2023-06-17T14:28:08Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Interactive Context-Aware Network for RGB-T Salient Object Detection [7.544240329265388]
  ICANet(Interactive Context-Aware Network)と呼ばれる新しいネットワークを提案する。 ICANetには、クロスモーダルとクロススケールの融合を効果的に実行する3つのモジュールが含まれている。 実験により,我々のネットワークは最先端のRGB-T SOD法に対して良好に動作していることが示された。
  論文  参考訳（メタデータ） (2022-11-11T10:04:36Z)
• CIR-Net: Cross-modality Interaction and Refinement for RGB-D Salient Object Detection [144.66411561224507]
  本稿では,CIR-Netと呼ばれる畳み込みニューラルネットワーク(CNN)モデルを提案する。 我々のネットワークは、定性的かつ定量的に最先端の塩分濃度検出器より優れています。
  論文  参考訳（メタデータ） (2022-10-06T11:59:19Z)
• Mirror Complementary Transformer Network for RGB-thermal Salient Object Detection [16.64781797503128]
  RGB-熱的物体検出(RGB-T SOD)は、視光対と熱赤外画像対の一般的な顕著な物体を見つけることを目的としている。 本稿では,RGB-T SODのための新しいミラー補完トランスフォーマネットワーク(MCNet)を提案する。 ベンチマークとVT723データセットの実験により、提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-07T20:26:09Z)
• Transformer-based Network for RGB-D Saliency Detection [82.6665619584628]
  RGB-Dサリエンシ検出の鍵は、2つのモードにわたる複数のスケールで情報を完全なマイニングとヒューズすることである。 コンバータは機能融合と機能拡張の両面において高い有効性を示す一様操作であることを示す。 提案するネットワークは,最先端のRGB-D値検出手法に対して良好に動作する。
  論文  参考訳（メタデータ） (2021-12-01T15:53:58Z)
• Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection [78.47767202232298]
  本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。 2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。 我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-08-04T11:24:42Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。