論文の概要: LSAS: Lightweight Sub-attention Strategy for Alleviating Attention Bias Problem

• arxiv url: http://arxiv.org/abs/2305.05200v1
• Date: Tue, 9 May 2023 06:25:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 13:47:30.499780
• Title: LSAS: Lightweight Sub-attention Strategy for Alleviating Attention Bias Problem
• Title（参考訳）: LSAS:アテンションバイアス問題を軽減する軽量サブアテンション戦略
• Authors: Shanshan Zhong, Wushao Wen, Jinghui Qin, Qiangpu Chen, Zhongzhan Huang
• Abstract要約: 我々は、ディープニューラルネットワーク(DNN)が、人気のあるデータセットからの多くのサンプルに対して深刻な注意バイアスを持つことを示した。 本稿では,高次サブアテンションモジュールを用いた軽量なサブアテンション戦略 (LSAS) を提案する。 LSASの有効性は、広く使われているベンチマークデータセットや一般的な注目ネットワーク上での広範な実験によって実証される。
• 参考スコア（独自算出の注目度）: 5.853241119309243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In computer vision, the performance of deep neural networks (DNNs) is highly related to the feature extraction ability, i.e., the ability to recognize and focus on key pixel regions in an image. However, in this paper, we quantitatively and statistically illustrate that DNNs have a serious attention bias problem on many samples from some popular datasets: (1) Position bias: DNNs fully focus on label-independent regions; (2) Range bias: The focused regions from DNN are not completely contained in the ideal region. Moreover, we find that the existing self-attention modules can alleviate these biases to a certain extent, but the biases are still non-negligible. To further mitigate them, we propose a lightweight sub-attention strategy (LSAS), which utilizes high-order sub-attention modules to improve the original self-attention modules. The effectiveness of LSAS is demonstrated by extensive experiments on widely-used benchmark datasets and popular attention networks. We release our code to help other researchers to reproduce the results of LSAS~\footnote{https://github.com/Qrange-group/LSAS}.
• Abstract（参考訳）: コンピュータビジョンでは、ディープニューラルネットワーク(DNN)の性能は特徴抽出能力、すなわち画像内の重要なピクセル領域を認識し、焦点を合わせる能力に強く関係している。 位置バイアス: DNNはラベル非依存の領域に完全にフォーカスする; (2) 範囲バイアス: DNNの焦点領域は理想の領域に完全に含まれていない。 さらに,既存の自己着在加群は,これらのバイアスをある程度緩和することができるが,そのバイアスはいまだに無視できない。 それらをさらに緩和するために,高次サブアテンションモジュールを用いた軽量サブアテンション戦略 (lsas) を提案する。 LSASの有効性は、広く使われているベンチマークデータセットや一般的な注目ネットワーク上での広範な実験によって実証される。 我々は、他の研究者がLSAS~\footnote{https://github.com/Qrange-group/LSAS}の結果を再現するのを手助けするコードをリリースした。

関連論文リスト

• The Overfocusing Bias of Convolutional Neural Networks: A Saliency-Guided Regularization Approach [11.524573224123905]
  CNNは入力画像の狭い特定の領域に基づいて決定を行う。 この振る舞いはモデルの一般化能力を著しく損なう可能性がある。 この問題に対処するために、SGDrop(Saliency Guided Dropout)を紹介します。
  論文  参考訳（メタデータ） (2024-09-25T21:30:16Z)
• When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
  ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。 本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。 我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。 本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-01T20:15:15Z)
• A Spatial-channel-temporal-fused Attention for Spiking Neural Networks [7.759491656618468]
  スパイキングニューラルネットワーク(SNN)は、計算戦略を模倣し、情報処理においてかなりの能力を示す。 本研究では,SNNを誘導し,対象領域を効率的に捕捉する空間チャネル時間拡散アテンション(SCTFA)モジュールを提案する。
  論文  参考訳（メタデータ） (2022-09-22T07:45:55Z)
• The Lottery Ticket Hypothesis for Self-attention in Convolutional Neural Network [69.54809052377189]
  近年, 深部畳み込みニューラルネットワーク(CNN)の内部情報を活用することにより, モデル一般化の促進を図るために, SAM (Plug-and-play Self-attention Module) が多数提案されている。 a) SAMをすべてのブロックに接続することは、必ずしも最大のパフォーマンス向上をもたらすとは限らないし、部分ブロックに接続する方が、さらによい。 (b) CNNにSAMを追加することは、必ずしもパフォーマンス向上をもたらすものではなく、代わりに元のCNNバックボーンのパフォーマンスに害を与えるかもしれない。
  論文  参考訳（メタデータ） (2022-07-16T07:08:59Z)
• SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
  スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。 近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。 本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。 本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:55:37Z)
• Visual Attention Network [90.0753726786985]
  本稿では,自己アテンションにおける自己適応性および長距離相関を実現するために,新しいカーネルアテンション(LKA)モジュールを提案する。 また、LKAに基づく新しいニューラルネットワーク、すなわちVisual Attention Network (VAN)を導入する。 VANは、最先端のビジョントランスフォーマーと畳み込みニューラルネットワークを、広範な実験において大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-02-20T06:35:18Z)
• Where to Look: A Unified Attention Model for Visual Recognition with Reinforcement Learning [5.247711598719703]
  視覚的注意を繰り返すために,トップダウンとボトムアップを一体化することを提案する。 我々のモデルは、画像ピラミッドとQラーニングを利用して、トップダウンアテンションメカニズムにおける関心領域を選択する。 我々は、エンドツーエンドの強化学習フレームワークでモデルをトレーニングし、視覚的分類タスクにおける手法の評価を行う。
  論文  参考訳（メタデータ） (2021-11-13T18:44:50Z)
• Spiking Neural Networks for Visual Place Recognition via Weighted Neuronal Assignments [24.754429120321365]
  スパイキングニューラルネットワーク(SNN)は、エネルギー効率と低レイテンシを含む、魅力的な潜在的な利点を提供する。 高性能SNNにとって有望な領域の1つは、テンプレートマッチングと画像認識である。 本研究では,視覚的位置認識(VPR)タスクのための最初の高性能SNNを紹介する。
  論文  参考訳（メタデータ） (2021-09-14T05:40:40Z)
• Spiking Neural Networks with Single-Spike Temporal-Coded Neurons for Network Intrusion Detection [6.980076213134383]
  スパイキングニューラルネット(SNN)は、その強い生物楽観性と高いエネルギー効率のために興味深い。 しかし、その性能は従来のディープニューラルネットワーク(DNN)よりもはるかに遅れている。
  論文  参考訳（メタデータ） (2020-10-15T14:46:18Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• Fairness Through Robustness: Investigating Robustness Disparity in Deep Learning [61.93730166203915]
  我々は、モデルが敵の攻撃に弱い場合、従来の公平性の概念では不十分であると主張する。 頑健性バイアスを測定することはDNNにとって難しい課題であり,この2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-06-17T22:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。