論文の概要: WaveNets: Wavelet Channel Attention Networks

• arxiv url: http://arxiv.org/abs/2211.02695v2
• Date: Tue, 12 Mar 2024 15:12:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 02:34:53.920324
• Title: WaveNets: Wavelet Channel Attention Networks
• Title（参考訳）: WaveNets: Wavelet Channel Attention Networks
• Authors: Hadi Salman, Caleb Parks, Shi Yin Hong, Justin Zhan
• Abstract要約: 本稿では,チャネル表現問題の解法としてウェーブレット変換圧縮を提案する。 我々はウェーブレット圧縮を用いてチャネルアテンションを一般化し、それをウェーブネットと呼ぶ。 提案手法は, ベースラインSENetより優れ, 最先端の結果が得られる。
• 参考スコア（独自算出の注目度）: 9.842943431749191
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Channel Attention reigns supreme as an effective technique in the field of computer vision. However, the proposed channel attention by SENet suffers from information loss in feature learning caused by the use of Global Average Pooling (GAP) to represent channels as scalars. Thus, designing effective channel attention mechanisms requires finding a solution to enhance features preservation in modeling channel inter-dependencies. In this work, we utilize Wavelet transform compression as a solution to the channel representation problem. We first test wavelet transform as an Auto-Encoder model equipped with conventional channel attention module. Next, we test wavelet transform as a standalone channel compression method. We prove that global average pooling is equivalent to the recursive approximate Haar wavelet transform. With this proof, we generalize channel attention using Wavelet compression and name it WaveNet. Implementation of our method can be embedded within existing channel attention methods with a couple of lines of code. We test our proposed method using ImageNet dataset for image classification task. Our method outperforms the baseline SENet, and achieves the state-of-the-art results. Our code implementation is publicly available at https://github.com/hady1011/WaveNet-C.
• Abstract（参考訳）: チャネルアテンションは、コンピュータビジョンの分野における効果的な技術としてスプリームを支配する。 しかし,SENetが提案するチャネルアテンションは,GAP(Global Average Pooling)を用いてチャネルをスカラーとして表現することで特徴学習における情報損失に悩まされる。 したがって、効果的なチャネルアテンション機構を設計するには、チャネル間依存性のモデリングにおける特徴保存のソリューションを見つける必要がある。 本研究では,チャネル表現問題の解法としてウェーブレット変換圧縮を利用する。 まず,従来のチャネルアテンションモジュールを備えた自動エンコーダモデルとしてウェーブレット変換をテストした。 次に、独立チャネル圧縮法としてウェーブレット変換をテストする。 大域平均プーリングは再帰近似ハールウェーブレット変換と同値であることが証明される。 この証明により、Wavelet圧縮を用いてチャネルアテンションを一般化し、WaveNetと命名する。 提案手法の実装は,既存のチャネルアテンション手法に数行のコードで組み込むことができる。 画像分類タスクにimagenetデータセットを用いた提案手法をテストする。 本手法は,ベースラインセネを上回り,最先端の結果を得る。 私たちのコード実装はhttps://github.com/hady1011/WaveNet-Cで公開されています。

関連論文リスト

• Wavelet-based Bi-dimensional Aggregation Network for SAR Image Change Detection [53.842568573251214]
  3つのSARデータセットによる実験結果から、我々のWBANetは現代最先端の手法を著しく上回っていることが明らかとなった。 我々のWBANetは、それぞれのデータセットで98.33%、96.65%、96.62%の正確な分類(PCC)を達成している。
  論文  参考訳（メタデータ） (2024-07-18T04:36:10Z)
• Joint Channel Estimation and Feedback with Masked Token Transformers in Massive MIMO Systems [74.52117784544758]
  本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。 エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。 提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
  論文  参考訳（メタデータ） (2023-06-08T06:15:17Z)
• Trainable Wavelet Neural Network for Non-Stationary Signals [0.0]
  本研究は,非定常信号に適合するフィルタバンクを学習するためのウェーブレットニューラルネットワークを導入し,デジタル信号処理の解釈性と性能を向上させる。 このネットワークは、複雑なモレットウェーブレットのパラメータ化関数である畳み込みがニューラルネットワークの第1層としてウェーブレット変換を使用する。
  論文  参考訳（メタデータ） (2022-05-06T16:41:27Z)
• Attention Based Neural Networks for Wireless Channel Estimation [1.0499453838486013]
  本稿では,アテンション機構を利用して最も重要な入力情報に注目するハイブリッドエンコーダデコーダ構造(HA02)を初めて提案する。 特に,変換器エンコーダブロックをエンコーダとして実装し,入力特徴の空間性を達成するとともに,残差ニューラルネットワークをデコーダとして実装する。 本シミュレーションは,チャネル推定のための他の候補ニューラルネットワーク手法と比較して,優れた推定性能を示す。
  論文  参考訳（メタデータ） (2022-04-28T12:54:19Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Towards Boosting the Channel Attention in Real Image Denoising : Sub-band Pyramid Attention [3.264560291660082]
  本稿では,ウェーブレットサブバンドピラミッドをベースとした新しいサブバンドピラミッドアテンション(SPA)を提案し,抽出した特徴の周波数成分を再検討する。 実画像デノイジング用に設計されたネットワーク上にSPAブロックを装備します。 実験の結果,提案手法は顕著な改善が得られた。
  論文  参考訳（メタデータ） (2020-12-23T04:28:33Z)
• FcaNet: Frequency Channel Attention Networks [20.6292655895549]
  周波数分析を用いてチャネルアテンションを再考する。 我々は、新しいマルチスペクトルチャネルアテンションを持つFcaNetを提案する。 本手法はimagenetのtop-1精度で1.8%向上する。
  論文  参考訳（メタデータ） (2020-12-22T08:33:27Z)
• Wavelet Channel Attention Module with a Fusion Network for Single Image Deraining [46.62290347397139]
  雨が画像の視界を著しく悪化させるため、単一画像のデライン化は重要な問題である。 融合ネットワークを用いたウェーブレットチャネルアテンションモジュールと呼ばれる新しい畳み込みニューラルネットワーク(CNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:06:13Z)
• Channel-Level Variable Quantization Network for Deep Image Compression [50.3174629451739]
  チャネルレベルの可変量子化ネットワークを提案し、重要なチャネルに対してより多くの畳み込みを動的に割り当て、無視可能なチャネルに対して退避する。 提案手法は優れた性能を実現し,より優れた視覚的再構成を実現する。
  論文  参考訳（メタデータ） (2020-07-15T07:20:39Z)
• Wavelet Integrated CNNs for Noise-Robust Image Classification [51.18193090255933]
  我々は、離散ウェーブレット変換(DWT)により、最大プール、ストライド畳み込み、平均プールを置き換えることでCNNを強化する。 VGG、ResNets、DenseNetのウェーブレット統合バージョンであるWaveCNetsは、バニラバージョンよりも精度が高く、ノイズ・ロバスト性も向上している。
  論文  参考訳（メタデータ） (2020-05-07T09:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。