Fugu-MT 論文翻訳(概要): Linear Attention Mechanism: An Efficient Attention for Semantic Segmentation

論文の概要: Linear Attention Mechanism: An Efficient Attention for Semantic Segmentation

arxiv url: http://arxiv.org/abs/2007.14902v3
Date: Thu, 20 Aug 2020 05:43:22 GMT
ステータス: 処理完了
システム内更新日: 2022-11-05 20:37:48.165006
Title: Linear Attention Mechanism: An Efficient Attention for Semantic Segmentation
Title（参考訳）: リニアアテンションメカニズム:セマンティックセグメンテーションにおける効率的なアテンション
Authors: Rui Li, Jianlin Su, Chenxi Duan, Shunyi Zheng
Abstract要約: 線形注意機構は、メモリと計算コストをはるかに少なくしてドット積の注意に近似する。意味的セグメンテーションで行った実験は、線形注意機構の有効性を実証した。
参考スコア（独自算出の注目度）: 2.9488233765621295
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, to remedy this deficiency, we propose a Linear Attention Mechanism which is approximate to dot-product attention with much less memory and computational costs. The efficient design makes the incorporation between attention mechanisms and neural networks more flexible and versatile. Experiments conducted on semantic segmentation demonstrated the effectiveness of linear attention mechanism. Code is available at https://github.com/lironui/Linear-Attention-Mechanism.
Abstract（参考訳）: 本稿では,この欠陥を補うために,より少ないメモリと計算コストで,ドット積の注意に近似した線形注意機構を提案する。この効率的な設計は、注意機構とニューラルネットワークの結合をより柔軟で多用途にする。セマンティクスセグメンテーション実験により,線形注意機構の有効性が示された。コードはhttps://github.com/lironui/Linear-Attention-Mechanismで公開されている。

関連論文リスト

Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
論文参考訳（メタデータ） (2024-06-12T12:12:38Z)
Interactive Multi-Head Self-Attention with Linear Complexity [60.112941134420204]
本研究では,アテンション行列のクロスヘッド間相互作用により,アテンション操作の情報フローが向上することを示す。本稿では,アテンション操作をクエリとキーレスコンポーネントに分解する効果的な手法を提案する。
論文参考訳（メタデータ） (2024-02-27T13:47:23Z)
FAST: Factorizable Attention for Speeding up Transformers [1.3637227185793512]
本稿では,スペーシフィケーションを伴わずに,注目行列の完全な表現を維持する線形スケールアテンション機構を提案する。その結果、我々の注意機構は堅牢な性能を示し、自己注意が使用される多様なアプリケーションに対して大きな可能性を秘めていることが示唆された。
論文参考訳（メタデータ） (2024-02-12T18:59:39Z)
Towards Robust Semantic Segmentation against Patch-based Attack via Attention Refinement [68.31147013783387]
我々は,アテンション機構がパッチベースの敵攻撃に弱いことを観察した。本稿では,意味的セグメンテーションモデルの堅牢性を改善するために,ロバスト注意機構(RAM)を提案する。
論文参考訳（メタデータ） (2024-01-03T13:58:35Z)
Linear Log-Normal Attention with Unbiased Concentration [3.034257650900382]
本研究では,注意行列の分布と集中度を解析し,自己注意機構について検討した。本稿では,これらの量を計測し,新たな自己注意機構である線形ログNormal Attentionを提案する。ポピュラーな自然言語ベンチマークの実験結果から,提案した線形ログNormal Attentionは,他の線形化アテンションよりも優れていたことが判明した。
論文参考訳（メタデータ） (2023-11-22T17:30:41Z)
Improving Speech Emotion Recognition Through Focus and Calibration Attention Mechanisms [0.5994412766684842]
既存のマルチヘッド自己注意における注意と信号振幅の相違を同定する。そこで本研究では,マルチヘッド・セルフアテンションと組み合わせて,フォーカス・アテンション(FA)機構とノベル・アテンション(CA)機構を提案する。 CA機構を利用することで、異なる重みをそれぞれのアテンションヘッドに割り当てることで、情報フローを変調し、周囲のコンテキストの利用を改善することができる。
論文参考訳（メタデータ） (2022-08-21T08:04:22Z)
Guiding Visual Question Answering with Attention Priors [76.21671164766073]
本稿では,言語・視覚的接地による注意機構の導出について述べる。この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
論文参考訳（メタデータ） (2022-05-25T09:53:47Z)
Multi-stage Attention ResU-Net for Semantic Segmentation of Fine-Resolution Remote Sensing Images [9.398340832493457]
この問題に対処するための線形注意機構(LAM)を提案する。 LAMは、計算効率の高いドット積アテンションとほぼ同値である。微細なリモートセンシング画像からのセマンティックセグメンテーションのためのマルチステージアテンションResU-Netを設計する。
論文参考訳（メタデータ） (2020-11-29T07:24:21Z)
Attention that does not Explain Away [54.42960937271612]
Transformerアーキテクチャに基づくモデルは、大規模なタスクに対して競合するアーキテクチャに基づくモデルよりも精度が高い。 Transformerのユニークな特徴は、任意の距離で自由な情報の流れを可能にする自己認識機構の普遍的な応用である。本稿では,実装が簡単で,"説明的回避"効果を避けるための理論的保証を提供する,二重正規化アテンション方式を提案する。
論文参考訳（メタデータ） (2020-09-29T21:05:39Z)
Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
論文参考訳（メタデータ） (2020-06-16T19:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。