論文の概要: OrthoNets: Orthogonal Channel Attention Networks

• arxiv url: http://arxiv.org/abs/2311.03071v1
• Date: Mon, 6 Nov 2023 12:54:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 14:22:27.779798
• Title: OrthoNets: Orthogonal Channel Attention Networks
• Title（参考訳）: OrthoNets: 直交チャネルアテンションネットワーク
• Authors: Hadi Salman, Caleb Parks, Matthew Swan, John Gauch
• Abstract要約: 離散コサイン変換(DCT)を用いた効果的なチャネルアテンション機構の検討 この問題を回避するため、FcaNetはImageNetで最適な周波数を見つける実験を行った。 我々の手法は現在の最先端技術と競合するか、超越しているかを示す。
• 参考スコア（独自算出の注目度）: 9.842943431749191
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing an effective channel attention mechanism implores one to find a lossy-compression method allowing for optimal feature representation. Despite recent progress in the area, it remains an open problem. FcaNet, the current state-of-the-art channel attention mechanism, attempted to find such an information-rich compression using Discrete Cosine Transforms (DCTs). One drawback of FcaNet is that there is no natural choice of the DCT frequencies. To circumvent this issue, FcaNet experimented on ImageNet to find optimal frequencies. We hypothesize that the choice of frequency plays only a supporting role and the primary driving force for the effectiveness of their attention filters is the orthogonality of the DCT kernels. To test this hypothesis, we construct an attention mechanism using randomly initialized orthogonal filters. Integrating this mechanism into ResNet, we create OrthoNet. We compare OrthoNet to FcaNet (and other attention mechanisms) on Birds, MS-COCO, and Places356 and show superior performance. On the ImageNet dataset, our method competes with or surpasses the current state-of-the-art. Our results imply that an optimal choice of filter is elusive and generalization can be achieved with a sufficiently large number of orthogonal filters. We further investigate other general principles for implementing channel attention, such as its position in the network and channel groupings.
• Abstract（参考訳）: 効果的なチャネルアテンション機構を設計することで、最適な特徴表現を可能にする損失圧縮法を見つけることができる。 近年の進展にもかかわらず、未解決の問題となっている。 fcanetは最先端のチャンネルアテンション機構であり、離散コサイン変換(dct)を用いた情報豊富な圧縮を試みている。 FcaNetの欠点の1つは、DCT周波数の自然な選択がないことである。 この問題を回避するため、FcaNetはImageNetで最適な周波数を見つける実験を行った。 我々は、周波数の選択が支持的役割のみを担い、その注意フィルタの有効性の第一の駆動力はdctカーネルの直交性であると仮定する。 この仮説をテストするために,ランダムに初期化直交フィルタを用いたアテンション機構を構築する。 このメカニズムをResNetに統合し、OrthoNetを作成します。 鳥,ms-coco,places356のfcanet(およびその他の注意機構)と比較し,優れた性能を示す。 ImageNetデータセットでは、我々の手法は現在の最先端と競合するか、上回っている。 この結果から,フィルタの最適選択は解法的であり,十分な数の直交フィルタで一般化が達成できることが示唆された。 さらに,ネットワークにおけるその位置やチャネルグループ化など,チャネル注意を実装するための他の一般的な原則についても検討する。

関連論文リスト

• CFDP: Common Frequency Domain Pruning [0.3021678014343889]
  本稿では,周波数領域を経由したモデルプルーニングのための新しいエンドツーエンドパイプラインを提案する。 我々はCIFAR-10で、GoogLeNetが95.25%、すなわちオリジナルのモデルから+0.2%の精度で達成した。 特筆すべきパフォーマンスに加えて、CFDPによって生成されたモデルは、様々な構成に対して堅牢性を示す。
  論文  参考訳（メタデータ） (2023-06-07T04:49:26Z)
• GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
  畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。 ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。 私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
  論文  参考訳（メタデータ） (2023-02-09T10:17:17Z)
• Rega-Net:Retina Gabor Attention for Deep Convolutional Neural Networks [8.068451210598676]
  本稿では,レガネット(Rega-net)という新しいアテンション手法を提案する。 ヒト網膜のメカニズムにインスパイアされた我々は、ヒト網膜の非一様分布構造に類似した畳み込みカーネルを設計する。
  論文  参考訳（メタデータ） (2022-11-23T04:24:21Z)
• WaveNets: Wavelet Channel Attention Networks [9.842943431749191]
  本稿では,チャネル表現問題の解法としてウェーブレット変換圧縮を提案する。 我々はウェーブレット圧縮を用いてチャネルアテンションを一般化し、それをウェーブネットと呼ぶ。 提案手法は, ベースラインSENetより優れ, 最先端の結果が得られる。
  論文  参考訳（メタデータ） (2022-11-04T18:26:47Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• FcaNet: Frequency Channel Attention Networks [20.6292655895549]
  周波数分析を用いてチャネルアテンションを再考する。 我々は、新しいマルチスペクトルチャネルアテンションを持つFcaNetを提案する。 本手法はimagenetのtop-1精度で1.8%向上する。
  論文  参考訳（メタデータ） (2020-12-22T08:33:27Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• OrthoReg: Robust Network Pruning Using Orthonormality Regularization [7.754712828900727]
  本稿では,ネットワークフィルタの正則性を強制し,フィルタ間の相関を小さくする原理的正規化戦略を提案する。 VGG-13、MobileNet-V1、ResNet-34の反復的なプルーニングに使用する場合、OrthoRegは5つのベースライン技術より一貫して優れている。
  論文  参考訳（メタデータ） (2020-09-10T17:21:21Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation [86.91324735966766]
  フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである 本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。 我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
  論文  参考訳（メタデータ） (2020-04-26T08:36:26Z)
• Filter Grafting for Deep Neural Networks [71.39169475500324]
  ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト 我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。 例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
  論文  参考訳（メタデータ） (2020-01-15T03:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。