論文の概要: Assessing the Impact of Attention and Self-Attention Mechanisms on the Classification of Skin Lesions

• arxiv url: http://arxiv.org/abs/2112.12748v1
• Date: Thu, 23 Dec 2021 18:02:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-24 14:22:15.860514
• Title: Assessing the Impact of Attention and Self-Attention Mechanisms on the Classification of Skin Lesions
• Title（参考訳）: 皮膚病変の分類における注意・セルフ・アテンション機構の影響評価
• Authors: Rafael Pedro and Arlindo L. Oliveira
• Abstract要約: 注意モジュールと自己注意という,2種類の注意機構に注目した。 注意モジュールは各層入力テンソルの特徴を再重み付けするために使用される。 自己認識(Self-Attention)は、元々自然言語処理の分野で提案されていたもので、入力シーケンス内のすべての項目を関連付けることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention mechanisms have raised significant interest in the research community, since they promise significant improvements in the performance of neural network architectures. However, in any specific problem, we still lack a principled way to choose specific mechanisms and hyper-parameters that lead to guaranteed improvements. More recently, self-attention has been proposed and widely used in transformer-like architectures, leading to significant breakthroughs in some applications. In this work we focus on two forms of attention mechanisms: attention modules and self-attention. Attention modules are used to reweight the features of each layer input tensor. Different modules have different ways to perform this reweighting in fully connected or convolutional layers. The attention models studied are completely modular and in this work they will be used with the popular ResNet architecture. Self-Attention, originally proposed in the area of Natural Language Processing makes it possible to relate all the items in an input sequence. Self-Attention is becoming increasingly popular in Computer Vision, where it is sometimes combined with convolutional layers, although some recent architectures do away entirely with convolutions. In this work, we study and perform an objective comparison of a number of different attention mechanisms in a specific computer vision task, the classification of samples in the widely used Skin Cancer MNIST dataset. The results show that attention modules do sometimes improve the performance of convolutional neural network architectures, but also that this improvement, although noticeable and statistically significant, is not consistent in different settings. The results obtained with self-attention mechanisms, on the other hand, show consistent and significant improvements, leading to the best results even in architectures with a reduced number of parameters.
• Abstract（参考訳）: ニューラルネットワークアーキテクチャのパフォーマンスが大幅に改善されることを約束しているため、アテンションメカニズムは研究コミュニティに大きな関心を集めている。 しかし、特定の問題では、我々はまだ、改善が保証される特定のメカニズムとハイパーパラメータを選択するための原則的な方法が欠けている。 最近では、トランスフォーマーのようなアーキテクチャで自己注意が提案され、広く使われている。 本研究では,注意モジュールと自己注意という,2種類の注意機構に注目した。 注意モジュールは各層入力テンソルの特徴を再重み付けするために使用される。 異なるモジュールは、この再重み付けを完全な連結層や畳み込み層で実行する方法が異なる。 調査した注目モデルは、完全にモジュール化されており、この作業で人気のあるResNetアーキテクチャで使用される予定である。 自然言語処理の分野で最初に提案されたセルフアテンションは、入力シーケンス内のすべての項目を関連付けることを可能にする。 コンピュータビジョンでは、畳み込み層と組み合わされることもあるが、最近のアーキテクチャでは畳み込みを完全に廃止しているものもある。 本研究では,特定のコンピュータビジョンタスクにおいて,広く使用されている皮膚がんmnistデータセットにおけるサンプルの分類について,様々な注意機構の客観的比較を行った。 その結果、注意モジュールは時には畳み込みニューラルネットワークアーキテクチャの性能を改善するが、この改善は顕著で統計的に重要であるが、異なる設定では一貫性がないことが示された。 一方,自己着脱機構を用いて得られた結果は,一貫性と大幅な改善を示し,パラメータの少ないアーキテクチャにおいても最良の結果が得られた。

関連論文リスト

• A Primal-Dual Framework for Transformers and Neural Networks [52.814467832108875]
  自己注意は、シーケンスモデリングタスクにおけるトランスフォーマーの顕著な成功の鍵である。 自己アテンションは、支持ベクトル回帰問題から導かれる支持ベクトル展開に対応することを示す。 Batch Normalized Attention (Attention-BN) と Scaled Head (Attention-SH) の2つの新しい注意点を提案する。
  論文  参考訳（メタデータ） (2024-06-19T19:11:22Z)
• When Medical Imaging Met Self-Attention: A Love Story That Didn't Quite Work Out [8.113092414596679]
  2つの異なる医療データセットに異なる自己注意変異を持つ、広く採用されている2つの畳み込みアーキテクチャを拡張します。 完全畳み込みモデルに比べてバランスの取れた精度は著しく改善されていない。 また, 皮膚病変画像における皮膚内視鏡像などの重要な特徴は, 自己注意を用いても学ばないことが明らかとなった。
  論文  参考訳（メタデータ） (2024-04-18T16:18:41Z)
• Systematic Architectural Design of Scale Transformed Attention Condenser DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
  マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。 ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。 ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
  論文  参考訳（メタデータ） (2023-06-16T18:29:26Z)
• Convolution-enhanced Evolving Attention Networks [41.684265133316096]
  Evolving Attention-enhanced Dilated Convolutional (EA-DC-) Transformerは最先端のモデルを大幅に上回っている。 これは、アテンションマップのレイヤーワイド進化を明示的にモデル化する最初の作品である。
  論文  参考訳（メタデータ） (2022-12-16T08:14:04Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Parameter-Free Average Attention Improves Convolutional Neural Network Performance (Almost) Free of Charge [0.0]
  我々はPfAAMと呼ばれるパラメータフリーのアテンション機構を導入する。 PfAAMは、計算オーバーヘッドが少なく、モデルサイズに影響を与えることなく、様々な畳み込みニューラルネットワークアーキテクチャにプラグインすることができる。 これは、コンピュータビジョンタスクのための汎用的な使い勝手の良いモジュールとして、幅広い適用性を示している。
  論文  参考訳（メタデータ） (2022-10-14T13:56:43Z)
• Switchable Self-attention Module [3.8992324495848356]
  自己注意モジュールSEMを提案する。 SEMは、アテンションモジュールと代替アテンション演算子の入力情報に基づいて、自動的にアテンション演算子を選択し、統合してアテンションマップを計算することができる。 SEMの有効性は、広く使われているベンチマークデータセットと一般的な自己注意ネットワークに関する広範な実験によって実証されている。
  論文  参考訳（メタデータ） (2022-09-13T01:19:38Z)
• Learning Target-aware Representation for Visual Tracking via Informative Interactions [49.552877881662475]
  トラッキングのための特徴表現のターゲット認識能力を改善するために,新しいバックボーンアーキテクチャを提案する。 提案したGIMモジュールとInBN機構は、CNNやTransformerなど、さまざまなバックボーンタイプに適用可能である。
  論文  参考訳（メタデータ） (2022-01-07T16:22:27Z)
• Perceiver: General Perception with Iterative Attention [85.65927856589613]
  我々は,トランスフォーマーを基盤とするモデルであるperceiverを紹介する。 このアーキテクチャは、分類タスクにおいて、競争的、または強固な、専門的なモデル以上のパフォーマンスを示す。 また、AudioSetのすべてのモダリティの最先端の結果を超えています。
  論文  参考訳（メタデータ） (2021-03-04T18:20:50Z)
• Attention that does not Explain Away [54.42960937271612]
  Transformerアーキテクチャに基づくモデルは、大規模なタスクに対して競合するアーキテクチャに基づくモデルよりも精度が高い。 Transformerのユニークな特徴は、任意の距離で自由な情報の流れを可能にする自己認識機構の普遍的な応用である。 本稿では,実装が簡単で,"説明的回避"効果を避けるための理論的保証を提供する,二重正規化アテンション方式を提案する。
  論文  参考訳（メタデータ） (2020-09-29T21:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。