論文の概要: Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks

• arxiv url: http://arxiv.org/abs/2105.02358v1
• Date: Wed, 5 May 2021 22:29:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 13:28:00.081415
• Title: Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks
• Title（参考訳）: 自己注意を超えて:視覚タスクのための2つの線形層を用いた外部注意
• Authors: Meng-Hao Guo, Zheng-Ning Liu, Tai-Jiang Mu, Shi-Min Hu
• Abstract要約: 外部注意と呼ばれる新しい注意機構を,外部的,小さく,学習可能,共有的記憶の2つに基づいて提案する。 提案手法は,自己保持機構とその変種に匹敵する性能を有し,計算コストとメモリコストを大幅に低減する。
• 参考スコア（独自算出の注目度）: 34.32609892928909
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention mechanisms, especially self-attention, play an increasingly important role in deep feature representation in visual tasks. Self-attention updates the feature at each position by computing a weighted sum of features using pair-wise affinities across all positions to capture long-range dependency within a single sample. However, self-attention has a quadratic complexity and ignores potential correlation between different samples. This paper proposes a novel attention mechanism which we call external attention, based on two external, small, learnable, and shared memories, which can be implemented easily by simply using two cascaded linear layers and two normalization layers; it conveniently replaces self-attention in existing popular architectures. External attention has linear complexity and implicitly considers the correlations between all samples. Extensive experiments on image classification, semantic segmentation, image generation, point cloud classification and point cloud segmentation tasks reveal that our method provides comparable or superior performance to the self-attention mechanism and some of its variants, with much lower computational and memory costs.
• Abstract（参考訳）: 注意機構、特に自己注意は、視覚タスクにおける深い特徴表現においてますます重要な役割を果たす。 自己注意(Self-attention)は、すべての位置のペア親和性を使って、各位置の機能を重み付けして更新し、単一のサンプル内で長距離依存性をキャプチャする。 しかし、自己アテンションは二次的複雑性を持ち、異なるサンプル間の潜在的な相関を無視する。 本稿では,2つの外部的,小さく,学習可能,共有的記憶に基づく,新たな注意機構を提案する。2つの逐次線形層と2つの正規化層を単純に使用すれば容易に実装でき,既存のアーキテクチャにおける自己着脱を便利に置き換える。 外部の注意は線形な複雑さを持ち、すべてのサンプル間の相関を暗黙的に考慮する。 画像分類,意味セグメンテーション,画像生成,ポイントクラウド分類,ポイントクラウドセグメンテーションタスクに関する広範な実験により,本手法が自己照査機構やその派生品と同等あるいは優れた性能を提供し,計算コストとメモリコストをはるかに削減できることが判明した。

関連論文リスト

• Interactive Multi-Head Self-Attention with Linear Complexity [60.112941134420204]
  本研究では,アテンション行列のクロスヘッド間相互作用により,アテンション操作の情報フローが向上することを示す。 本稿では,アテンション操作をクエリとキーレスコンポーネントに分解する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-27T13:47:23Z)
• Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
  自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。 融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。 我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
  論文  参考訳（メタデータ） (2023-08-19T09:12:13Z)
• Coneheads: Hierarchy Aware Attention [40.685504511826885]
  ドット製品への注目の代替として,コーンアテンションを導入します。 コーンアテンションは双曲錐によって定義される階層の中で、それらの最も低い共通の祖先の深さによって2つの点を関連付ける。 ドット製品注意やその他のベースラインよりもタスクレベルのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-06-01T06:53:14Z)
• Dual Cross-Attention Learning for Fine-Grained Visual Categorization and Object Re-Identification [19.957957963417414]
  本稿では,自己意図学習と協調する2つのクロスアテンション学習(DCAL)アルゴリズムを提案する。 まず,グローバル・ローカル・クロスアテンション(GLCA)を提案する。 第2に、画像ペア間の相互作用を確立するために、ペアワイズ・クロスアテンション(PWCA)を提案する。
  論文  参考訳（メタデータ） (2022-05-04T16:14:26Z)
• Correlation-Aware Deep Tracking [83.51092789908677]
  本稿では,自己/横断的意図に着想を得た,新たなターゲット依存型特徴ネットワークを提案する。 我々のネットワークは機能ネットワークの複数の層にクロスイメージの特徴相関を深く埋め込んでいる。 我々のモデルは、豊富な未ペア画像に対して柔軟に事前訓練が可能であり、既存の手法よりも顕著に高速な収束をもたらす。
  論文  参考訳（メタデータ） (2022-03-03T11:53:54Z)
• Self-Attention Neural Bag-of-Features [103.70855797025689]
  我々は最近導入された2D-Attentionの上に構築し、注意学習方法論を再構築する。 本稿では,関連情報を強調した2次元目視マスクを学習する機能・時間的アテンション機構を提案する。
  論文  参考訳（メタデータ） (2022-01-26T17:54:14Z)
• Compositional Attention: Disentangling Search and Retrieval [66.7108739597771]
  Multi-head, key-value attention は Transformer モデルとそのバリエーションのバックボーンである。 標準的なアテンションヘッドは、検索と検索の間の厳密なマッピングを学ぶ。 本稿では,標準ヘッド構造を置き換える新しいアテンション機構であるコンポジションアテンションアテンションを提案する。
  論文  参考訳（メタデータ） (2021-10-18T15:47:38Z)
• Instance-aware Remote Sensing Image Captioning with Cross-hierarchy Attention [11.23821696220285]
  空間的注意は、リモートセンシング画像キャプションのパフォーマンスを高めるための簡単なアプローチです。 インスタンス認識と階層横断に注目したリモートセンシング画像キャプションジェネレータを提案する。
  論文  参考訳（メタデータ） (2021-05-11T12:59:07Z)
• Capturing Multi-Resolution Context by Dilated Self-Attention [58.69803243323346]
  限定的自己意識と拡張メカニズムの組み合わせを提案し,これを拡張的自己意識と呼ぶ。 制限された自己注意は、高分解能でクエリの隣接するフレームに注意を払い、拡張メカニズムは、より低い解像度でそれに出席できるように遠方の情報を要約します。 ASRの結果は、制限された自己アテンションのみと比較して大幅に改善され、計算コストのごく一部をフルシーケンスベースの自己アテンションと比較すると、同様の結果が得られる。
  論文  参考訳（メタデータ） (2021-04-07T02:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。