Fugu-MT 論文翻訳(概要): Cross-Layer Retrospective Retrieving via Layer Attention

論文の概要: Cross-Layer Retrospective Retrieving via Layer Attention

arxiv url: http://arxiv.org/abs/2302.03985v1
Date: Wed, 8 Feb 2023 10:50:01 GMT
ステータス: 処理完了
システム内更新日: 2023-02-09 16:48:08.715529
Title: Cross-Layer Retrospective Retrieving via Layer Attention
Title（参考訳）: 層注意によるクロスレイヤレトロスペクティブ検索
Authors: Yanwen Fang, Yuxi Cai, Jintai Chen, Jingyu Zhao, Guangjian Tian, Guodong Li
Abstract要約: 自己注意は、クエリアクティベートされた情報を取得することによって、相互依存の学習に優れる。我々はMRLA(Multi-head Recurrent Layer attention)と呼ばれる多層アテンション機構を考案した。 MRLAは、現在のレイヤのクエリ表現を以前のすべてのレイヤに送信し、異なるレベルの受信フィールドからクエリ関連情報を検索する。
参考スコア（独自算出の注目度）: 12.423426718300151
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: More and more evidence has shown that strengthening layer interactions can enhance the representation power of a deep neural network, while self-attention excels at learning interdependencies by retrieving query-activated information. Motivated by this, we devise a cross-layer attention mechanism, called multi-head recurrent layer attention (MRLA), that sends a query representation of the current layer to all previous layers to retrieve query-related information from different levels of receptive fields. A light-weighted version of MRLA is also proposed to reduce the quadratic computation cost. The proposed layer attention mechanism can enrich the representation power of many state-of-the-art vision networks, including CNNs and vision transformers. Its effectiveness has been extensively evaluated in image classification, object detection and instance segmentation tasks, where improvements can be consistently observed. For example, our MRLA can improve 1.6\% Top-1 accuracy on ResNet-50, while only introducing 0.16M parameters and 0.07B FLOPs. Surprisingly, it can boost the performances by a large margin of 3-4\% box AP and mask AP in dense prediction tasks. Our code is available at https://github.com/joyfang1106/MRLA.
Abstract（参考訳）: 層間相互作用の強化はディープニューラルネットワークの表現力を高め、自己注意はクエリアクティベートされた情報を取得することによって相互依存の学習に長けている、という証拠がますます増えている。そこで我々は,マルチヘッドリカレント層アテンション (mrla) と呼ばれる層間アテンション機構を考案し,この機構により,従来のすべてのレイヤに現在のレイヤのクエリ表現を送信し,さまざまなレベルのレセプティブフィールドからクエリ関連情報を取得する。また,2次計算コストを削減するため,MRLAの軽量バージョンも提案されている。提案されたレイヤアテンション機構は、cnnや視覚トランスフォーマーなど、最先端のビジョンネットワークの表現力を増強することができる。その効果は画像分類、オブジェクト検出、インスタンス分割タスクにおいて広く評価されており、改善は一貫して観察できる。例えば、MRLAはResNet-50で1.6\%のTop-1精度を向上できます。驚くべきことに、密度の高い予測タスクにおいて、パフォーマンスを3～4倍に向上させることができる。私たちのコードはhttps://github.com/joyfang1106/MRLAで利用可能です。

関連論文リスト

Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
論文参考訳（メタデータ） (2023-10-06T10:40:46Z)
Efficient Deep Spiking Multi-Layer Perceptrons with Multiplication-Free Inference [13.924924047051782]
スパイキングニューラルネットワーク(SNN)の深部畳み込みアーキテクチャは、画像分類性能を大幅に向上し、計算負荷を低減した。本研究は、MLP(Multi-Layer Perceptrons)の進歩からインスピレーションを得て、新しい経路を探求する。 MFIの互換性を維持するためにバッチ正規化を用いる革新的なスパイクアーキテクチャを提案する。我々は,グローバルな受容場と局所的な特徴抽出を効果的に組み合わせた,効率的なマルチステージスパイクネットワークを構築した。
論文参考訳（メタデータ） (2023-06-21T16:52:20Z)
Systematic Architectural Design of Scale Transformed Attention Condenser DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。 ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。 ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
論文参考訳（メタデータ） (2023-06-16T18:29:26Z)
Kernel function impact on convolutional neural networks [10.98068123467568]
畳み込みニューラルネットワークの異なる層におけるカーネル関数の利用について検討する。より歪みに敏感なプール層を導入することで、カーネル関数を効果的に活用する方法を示す。完全接続層を置き換えるKDL(Kernelized Dense Layers)を提案する。
論文参考訳（メタデータ） (2023-02-20T19:57:01Z)
A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
論文参考訳（メタデータ） (2022-10-27T13:24:08Z)
Learning Target-aware Representation for Visual Tracking via Informative Interactions [49.552877881662475]
トラッキングのための特徴表現のターゲット認識能力を改善するために,新しいバックボーンアーキテクチャを提案する。提案したGIMモジュールとInBN機構は、CNNやTransformerなど、さまざまなバックボーンタイプに適用可能である。
論文参考訳（メタデータ） (2022-01-07T16:22:27Z)
Recurrence along Depth: Deep Convolutional Neural Networks with Recurrent Layer Aggregation [5.71305698739856]
本稿では,従来のレイヤからの情報を再利用して,現在のレイヤの特徴をよりよく抽出する方法を説明するために,レイヤアグリゲーションの概念を紹介する。我々は,深層CNNにおける層構造を逐次的に利用することにより,RLA(recurrent layer aggregate)と呼ばれる非常に軽量なモジュールを提案する。私たちのRLAモジュールは、ResNets、Xception、MobileNetV2など、多くの主要なCNNと互換性があります。
論文参考訳（メタデータ） (2021-10-22T15:36:33Z)
Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
論文参考訳（メタデータ） (2021-03-22T20:36:34Z)
Learning Deep Interleaved Networks with Asymmetric Co-Attention for Image Restoration [65.11022516031463]
本稿では,高品質(本社)画像再構成のために,異なる状態の情報をどのように組み合わせるべきかを学習するディープインターリーブドネットワーク(DIN)を提案する。本稿では,各インターリーブノードにアタッチメントされた非対称なコアテンション(AsyCA)を提案し,その特性依存性をモデル化する。提案したDINはエンドツーエンドで訓練でき、様々な画像復元タスクに適用できる。
論文参考訳（メタデータ） (2020-10-29T15:32:00Z)
MPG-Net: Multi-Prediction Guided Network for Segmentation of Retinal Layers in OCT Images [11.370735571629602]
OCT画像の自動網膜層分割のための新しいマルチプレディション誘導アテンションネットワーク(MPG-Net)を提案する。 MPG-Netは、信頼性の高い自動セグメンテーションのためのU字形完全畳み込みネットワーク(FCN)の識別力を強化する2つの主要なステップから構成される。
論文参考訳（メタデータ） (2020-09-28T21:22:22Z)
Hybrid Multiple Attention Network for Semantic Segmentation in Aerial Images [24.35779077001839]
グローバルな相関関係を適応的に捉えるために,Hybrid Multiple Attention Network (HMANet) という新しいアテンションベースのフレームワークを提案する。本稿では,機能的冗長性を低減し,自己注意機構の効率を向上させるため,単純で効果的な領域シャッフルアテンション(RSA)モジュールを提案する。
論文参考訳（メタデータ） (2020-01-09T07:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。