論文の概要: Frequency-aware Feature Fusion for Dense Image Prediction

• arxiv url: http://arxiv.org/abs/2408.12879v1
• Date: Fri, 23 Aug 2024 07:30:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 15:49:48.561790
• Title: Frequency-aware Feature Fusion for Dense Image Prediction
• Title（参考訳）: 密度画像予測のための周波数認識機能融合
• Authors: Linwei Chen, Ying Fu, Lin Gu, Chenggang Yan, Tatsuya Harada, Gao Huang,
• Abstract要約: 本稿では,高密度画像予測のための周波数認識機能融合(FreqFusion)を提案する。 FreqFusionは、Adaptive Low-Pass Filter (ALPF) ジェネレータ、オフセットジェネレータ、Adaptive High-Pass Filter (AHPF) ジェネレータを統合する。 包括的可視化と定量的分析は、FreqFusionが機能一貫性を効果的に改善し、オブジェクト境界を鋭くすることを示している。
• 参考スコア（独自算出の注目度）: 99.85757278772262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense image prediction tasks demand features with strong category information and precise spatial boundary details at high resolution. To achieve this, modern hierarchical models often utilize feature fusion, directly adding upsampled coarse features from deep layers and high-resolution features from lower levels. In this paper, we observe rapid variations in fused feature values within objects, resulting in intra-category inconsistency due to disturbed high-frequency features. Additionally, blurred boundaries in fused features lack accurate high frequency, leading to boundary displacement. Building upon these observations, we propose Frequency-Aware Feature Fusion (FreqFusion), integrating an Adaptive Low-Pass Filter (ALPF) generator, an offset generator, and an Adaptive High-Pass Filter (AHPF) generator. The ALPF generator predicts spatially-variant low-pass filters to attenuate high-frequency components within objects, reducing intra-class inconsistency during upsampling. The offset generator refines large inconsistent features and thin boundaries by replacing inconsistent features with more consistent ones through resampling, while the AHPF generator enhances high-frequency detailed boundary information lost during downsampling. Comprehensive visualization and quantitative analysis demonstrate that FreqFusion effectively improves feature consistency and sharpens object boundaries. Extensive experiments across various dense prediction tasks confirm its effectiveness. The code is made publicly available at https://github.com/Linwei-Chen/FreqFusion.
• Abstract（参考訳）: 複雑な画像予測タスクは、強いカテゴリ情報と高精度な空間境界の詳細を高解像度で要求する。 これを実現するために、現代の階層モデルは、しばしば機能融合を利用し、深い層からのアップサンプリングされた粗い特徴と低い層からの高解像度特徴を直接追加する。 本稿では,物体内の融合特徴値の急激な変動を観察し,高周波特性の乱れによるカテゴリー内不整合を生じさせる。 さらに、溶解した特徴のぼやけた境界は正確な高周波を欠き、境界のずれにつながる。 これらの観測に基づいて、適応低パスフィルタ(ALPF)ジェネレータ、オフセットジェネレータ、適応高パスフィルタ(AHPF)ジェネレータを統合する周波数認識機能融合(FreqFusion)を提案する。 ALPFジェネレータは、空間的に変化する低域通過フィルタを予測し、オブジェクト内の高周波成分を減衰させ、アップサンプリング時のクラス内不整合を低減する。 オフセットジェネレータは、整合性のない特徴を再サンプリングによりより整合性のあるものに置き換えることで、大きな不整合性と細い境界を洗練し、一方AHPFジェネレータは、ダウンサンプリング中に失われた高周波の詳細境界情報を強化する。 包括的可視化と定量的解析は、FreqFusionが機能一貫性を効果的に改善し、オブジェクト境界を鋭くすることを示している。 様々な密集予測タスクにわたる広範囲な実験により、その有効性が確認された。 コードはhttps://github.com/Linwei-Chen/FreqFusion.comで公開されている。

関連論文リスト

• Fourier-enhanced Implicit Neural Fusion Network for Multispectral and Hyperspectral Image Fusion [12.935592400092712]
  Inlicit Neural representations (INR) は様々な視覚関連領域において大きな進歩を遂げている。 INRは高周波情報を失う傾向があり、世界的な知覚能力の欠如に制限されている。 本稿では,MHIFタスク用に設計されたFourier-enhanced Implicit Neural Fusion Network (FeINFN)を紹介する。
  論文  参考訳（メタデータ） (2024-04-23T16:14:20Z)
• Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning [81.98675881423131]
  この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-03-12T01:28:00Z)
• Frequency Perception Network for Camouflaged Object Detection [51.26386921922031]
  周波数領域のセマンティック階層によって駆動される新しい学習可能かつ分離可能な周波数知覚機構を提案する。 ネットワーク全体では、周波数誘導粗い局所化ステージと細部保存の微細局在化ステージを含む2段階モデルを採用している。 提案手法は,既存のモデルと比較して,3つのベンチマークデータセットにおいて競合性能を実現する。
  論文  参考訳（メタデータ） (2023-08-17T11:30:46Z)
• Spectral Enhanced Rectangle Transformer for Hyperspectral Image Denoising [64.11157141177208]
  ハイパースペクトル画像の空間的およびスペクトル的相関をモデル化するスペクトル拡張矩形変換器を提案する。 前者に対しては、長方形自己アテンションを水平および垂直に利用し、空間領域における非局所的類似性を捉える。 後者のために,空間スペクトル立方体の大域的低ランク特性を抽出し,雑音を抑制するスペクトル拡張モジュールを設計する。
  論文  参考訳（メタデータ） (2023-04-03T09:42:13Z)
• Learning Spatial-Frequency Transformer for Visual Object Tracking [15.750739748843744]
  最近のトラッカーはTransformerを採用して、広く使われているResNetを新しいバックボーンネットワークとして組み合わせたり置き換えたりしている。 これらの操作は、ターゲットオブジェクトの空間的先行を無視し、最適以下の結果をもたらす可能性があると信じている。 本稿では,GPHA(Spatial Prior and High- frequency emphasis Attention)を同時にモデル化した空間周波数変換器を提案する。
  論文  参考訳（メタデータ） (2022-08-18T13:46:12Z)
• FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
  本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。 3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
  論文  参考訳（メタデータ） (2022-03-24T07:26:29Z)
• FreqNet: A Frequency-domain Image Super-Resolution Network with Dicrete Cosine Transform [16.439669339293747]
  単一画像超解像(SISR)は低分解能(LR)入力から高分解能(HR)出力を得ることを目的とした不適切な問題である。 高ピーク信号-雑音比(PSNR)の結果にもかかわらず、モデルが望まれる高周波の詳細を正しく付加するかどうかを判断することは困難である。 本稿では、周波数領域の観点から直感的なパイプラインであるFreqNetを提案し、この問題を解決する。
  論文  参考訳（メタデータ） (2021-11-21T11:49:12Z)
• Low Pass Filter for Anti-aliasing in Temporal Action Localization [15.139834271977913]
  本稿では,時間的行動定位法におけるエイリアスの存在を検証する。 高周波帯域の抑制により低域通過フィルタを用いてこの問題を解決する。 実験により、TALにおける低域通過フィルタによるアンチエイリアシングは有利かつ効率的であることが示された。
  論文  参考訳（メタデータ） (2021-04-23T03:57:34Z)
• iffDetector: Inference-aware Feature Filtering for Object Detection [70.8678270164057]
  Inference-aware Feature Filtering (IFF)モジュールを導入し、現代の検出器と簡単に組み合わせることができる。 IFFは、畳み込み機能を強化するためにハイレベルなセマンティクスを活用することでクローズドループ最適化を行う。 IFFはCNNベースの物体検出器とプラグアンドプレイ方式で融合でき、計算コストのオーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2020-06-23T02:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。