論文の概要: When Semantic Segmentation Meets Frequency Aliasing
- arxiv url: http://arxiv.org/abs/2403.09065v3
- Date: Mon, 25 Mar 2024 03:04:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 00:56:02.614797
- Title: When Semantic Segmentation Meets Frequency Aliasing
- Title（参考訳）: セマンティックセグメンテーションが周波数エイリアスに遭遇する
- Authors: Linwei Chen, Lin Gu, Ying Fu,
- Abstract要約: 我々は、ハードピクセルエラーを包括的に分析し、それらを偽応答、マージミス、変位の3つのタイプに分類する。
その結果, ダウンサンプリング中のフーリエ領域の周波数成分の重なりによる歪みが, ハードピクセルとエイリアシングの定量的な関連性を示した。
本稿では,Nyquist周波数よりも高い周波数を正確に除去・調整することにより,エイリアスを緩和する2つの新しいデエイリアスフィルタ (DAF) と周波数混合 (FreqMix) モジュールを提案する。
- 参考スコア（独自算出の注目度）: 14.066404173580864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite recent advancements in semantic segmentation, where and what pixels are hard to segment remains largely unexplored. Existing research only separates an image into easy and hard regions and empirically observes the latter are associated with object boundaries. In this paper, we conduct a comprehensive analysis of hard pixel errors, categorizing them into three types: false responses, merging mistakes, and displacements. Our findings reveal a quantitative association between hard pixels and aliasing, which is distortion caused by the overlapping of frequency components in the Fourier domain during downsampling. To identify the frequencies responsible for aliasing, we propose using the equivalent sampling rate to calculate the Nyquist frequency, which marks the threshold for aliasing. Then, we introduce the aliasing score as a metric to quantify the extent of aliasing. While positively correlated with the proposed aliasing score, three types of hard pixels exhibit different patterns. Here, we propose two novel de-aliasing filter (DAF) and frequency mixing (FreqMix) modules to alleviate aliasing degradation by accurately removing or adjusting frequencies higher than the Nyquist frequency. The DAF precisely removes the frequencies responsible for aliasing before downsampling, while the FreqMix dynamically selects high-frequency components within the encoder block. Experimental results demonstrate consistent improvements in semantic segmentation and low-light instance segmentation tasks. The code is available at: https://github.com/Linwei-Chen/Seg-Aliasing.
- Abstract（参考訳）: 近年のセマンティックセグメンテーションの進歩にもかかわらず、どのピクセルがセグメンテーションが難しいのかは明らかにされていない。
既存の研究では、イメージを簡単で硬い領域に分けるだけで、後者がオブジェクトの境界と関連していることを実証的に観察する。
本稿では,ハードピクセルの誤りを包括的に解析し,これらを3つのタイプに分類する。
その結果, ダウンサンプリング中のフーリエ領域の周波数成分の重なりによる歪みが, ハードピクセルとエイリアシングの定量的な関連性を示した。
エイリアスの原因となる周波数を同定するために,同値サンプリングレートを用いて,エイリアスに対する閾値を示すナイキスト周波数を算出する。
次に,エイリアス化の度合いを定量化する指標としてエイリアス化スコアを導入する。
提案したエイリアススコアと正に相関するが、3種類のハードピクセルは異なるパターンを示す。
本稿では,Nyquist周波数よりも高い周波数を正確に除去・調整することにより,エイリアス劣化を軽減するために,DAF(de-aliasing filter)とFreqMix( frequency mix)の2つの新しいモジュールを提案する。
DAFはダウンサンプリング前にエイリアスを行う周波数を正確に除去し、FreqMixはエンコーダブロック内の高周波成分を動的に選択する。
実験結果はセマンティックセグメンテーションと低照度インスタンスセグメンテーションタスクにおいて一貫した改善を示す。
コードは、https://github.com/Linwei-Chen/Seg-Aliasing.comで入手できる。
関連論文リスト
- Freq-Mip-AA : Frequency Mip Representation for Anti-Aliasing Neural Radiance Fields [3.796287987989994]
Mip-NeRFはフラストタムを用いてピクセルを描画し、統合位置符号化(IPE)を提案する。
このアプローチは有効であるが、ボリュームアーキテクチャに依存しているため、長いトレーニング時間を必要とする。
本稿では,グリッドベース表現を利用した新しいアンチエイリアス手法を提案する。
論文 参考訳（メタデータ） (2024-06-19T06:33:56Z) - Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-03-12T01:28:00Z) - FreGS: 3D Gaussian Splatting with Progressive Frequency Regularization [67.47895278233717]
周波数空間における過度再構成問題に対処するために, 進行周波数正規化手法を開発した。
FreGSは優れた斬新なビュー合成を実現し、最先端の技術を一貫して上回っている。
論文 参考訳（メタデータ） (2024-03-11T17:00:27Z) - FS-BAND: A Frequency-Sensitive Banding Detector [55.59101150019851]
バンディング・アーティファクト(Banding artifact)は、階段のような輪郭(contour)として知られ、圧縮や伝達などで発生する一般的な品質の不快さである。
周波数感度バンディング検出器 (FS-BAND) と呼ばれる,帯状アーティファクトを捕捉・評価するための非参照帯状検出モデルを提案する。
実験結果から,FS-BAND法は画像品質評価(IQA)手法よりもバンドリング分類タスクの精度が高い結果を得た。
論文 参考訳（メタデータ） (2023-11-30T03:20:42Z) - Improving Feature Stability during Upsampling -- Spectral Artifacts and the Importance of Spatial Context [15.351461000403074]
画像復元、画像分割、不均一性推定など、さまざまなタスクにおいて、画素ワイズ予測が求められている。
以前の研究では、再サンプリング操作がエイリアスなどのアーティファクトの対象であることが示されている。
アップサンプリング中に大きな空間的コンテキストが利用できることで,安定かつ高品質な画素ワイズ予測が実現可能であることを示す。
論文 参考訳（メタデータ） (2023-11-29T10:53:05Z) - Fix your downsampling ASAP! Be natively more robust via Aliasing and
Spectral Artifact free Pooling [11.72025865314187]
畳み込みニューラルネットワークは、画像に一連の畳み込み、正規化、非線形性、およびダウンサンプリング操作をエンコードする。
以前の研究では、サンプリング中のわずかなミスでさえエイリアスに繋がる可能性があることが、ネットワークの堅牢性の欠如に直接起因していることが示された。
本稿では,アーティファクトを含まないアーティファクト・プール・ショートASAPを提案する。
論文 参考訳（メタデータ） (2023-07-19T07:47:23Z) - Category-Adaptive Label Discovery and Noise Rejection for Multi-label
Image Recognition with Partial Positive Labels [78.88007892742438]
部分正ラベル(MLR-PPL)を用いたマルチラベルモデルの訓練が注目されている。
これまでの研究では、未知のラベルを負とみなし、従来のMLRアルゴリズムを採用した。
我々は,MLR-PPLタスクを容易にするために,異なる画像間の意味的相関について検討する。
論文 参考訳（メタデータ） (2022-11-15T02:11:20Z) - Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。
我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-03-27T14:25:52Z) - Frequency Pooling: Shift-Equivalent and Anti-Aliasing Downsampling [9.249235534786072]
本研究では、フーリエ変換とナイキスト周波数の特性に基づいて、周波数プーリングがシフト等価であり、アンチエイリアスであることを示す。
画像分類実験により、周波数プーリングはCNNのシフトに対して精度とロバスト性を向上させることが示された。
論文 参考訳（メタデータ） (2021-09-24T09:32:10Z) - Wavelet-Based Network For High Dynamic Range Imaging [64.66969585951207]
光学フローベースやエンド・ツー・エンドのディープラーニングベースのソリューションのような既存の方法は、詳細な復元やゴーストを除去する際にエラーを起こしやすい。
本研究では、周波数領域でHDR融合を行うための新しい周波数誘導型エンド・ツー・エンドディープニューラルネットワーク(FNet)を提案し、ウェーブレット変換(DWT)を用いて入力を異なる周波数帯域に分解する。
低周波信号は特定のゴーストアーティファクトを避けるために使用され、高周波信号は詳細を保存するために使用される。
論文 参考訳（メタデータ） (2021-08-03T12:26:33Z) - Low Pass Filter for Anti-aliasing in Temporal Action Localization [15.139834271977913]
本稿では,時間的行動定位法におけるエイリアスの存在を検証する。
高周波帯域の抑制により低域通過フィルタを用いてこの問題を解決する。
実験により、TALにおける低域通過フィルタによるアンチエイリアシングは有利かつ効率的であることが示された。
論文 参考訳（メタデータ） (2021-04-23T03:57:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。