論文の概要: Strengthening Layer Interaction via Dynamic Layer Attention

• arxiv url: http://arxiv.org/abs/2406.13392v1
• Date: Wed, 19 Jun 2024 09:35:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 20:22:37.736915
• Title: Strengthening Layer Interaction via Dynamic Layer Attention
• Title（参考訳）: 動的層アテンションによる層間相互作用の強化
• Authors: Kaishen Wang, Xun Xia, Jian Liu, Zhang Yi, Tao He,
• Abstract要約: 既存のレイヤーアテンション手法は固定された特徴写像上の層間相互作用を静的に達成する。 注意機構の動的コンテキスト表現能力を復元するために,動的レイヤアテンションアーキテクチャを提案する。 実験の結果,提案したDLAアーキテクチャの有効性が示され,画像認識や物体検出タスクにおける他の最先端手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 12.341997220052486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, employing layer attention to enhance interaction among hierarchical layers has proven to be a significant advancement in building network structures. In this paper, we delve into the distinction between layer attention and the general attention mechanism, noting that existing layer attention methods achieve layer interaction on fixed feature maps in a static manner. These static layer attention methods limit the ability for context feature extraction among layers. To restore the dynamic context representation capability of the attention mechanism, we propose a Dynamic Layer Attention (DLA) architecture. The DLA comprises dual paths, where the forward path utilizes an improved recurrent neural network block, named Dynamic Sharing Unit (DSU), for context feature extraction. The backward path updates features using these shared context representations. Finally, the attention mechanism is applied to these dynamically refreshed feature maps among layers. Experimental results demonstrate the effectiveness of the proposed DLA architecture, outperforming other state-of-the-art methods in image recognition and object detection tasks. Additionally, the DSU block has been evaluated as an efficient plugin in the proposed DLA architecture.The code is available at https://github.com/tunantu/Dynamic-Layer-Attention.
• Abstract（参考訳）: 近年,階層層間の相互作用を高めるためにレイヤアテンションを活用することは,ネットワーク構造の構築において重要な進歩であることが証明されている。 本稿では,固定された特徴写像上の層間相互作用を静的に達成できることに留意し,層間アテンションと一般アテンション機構の区別について検討する。 これらの静的層アテンション手法は、レイヤ間のコンテキスト特徴抽出の能力を制限している。 注意機構の動的コンテキスト表現能力を復元するために,動的レイヤ注意(DLA)アーキテクチャを提案する。 DLAはデュアルパスで構成されており、フォワードパスは動的共有ユニット(DSU)と呼ばれる改良されたリカレントニューラルネットワークブロックを使用してコンテキスト特徴抽出を行う。 これらの共有コンテキスト表現を使用して、後方パスが更新される。 最後に、レイヤー間で動的に更新された特徴マップにアテンションメカニズムを適用する。 実験の結果,提案したDLAアーキテクチャの有効性が示され,画像認識や物体検出タスクにおける他の最先端手法よりも優れていた。 さらに、DSUブロックは提案されたDLAアーキテクチャの効率的なプラグインとして評価されており、コードはhttps://github.com/tunantu/Dynamic-Layer-Attention.comで公開されている。

関連論文リスト

• DSparsE: Dynamic Sparse Embedding for Knowledge Graph Completion [10.963560900106835]
  知識グラフ補完のための動的スパース埋め込み(DSparsE)と呼ばれる新しい手法を提案する。 提案モデルでは,入力されたエンティティ-リレーションペアを動的層と関係対応層からなる浅層に埋め込む。 提案手法は,既存のベースライン手法と比較して,Hits@1の観点から最先端性能を実現することを実証した。
  論文  参考訳（メタデータ） (2024-09-22T08:25:41Z)
• Hierarchical Graph Interaction Transformer with Dynamic Token Clustering for Camouflaged Object Detection [57.883265488038134]
  本稿では,HGINetと呼ばれる階層的なグラフ相互作用ネットワークを提案する。 このネットワークは、階層的トークン化機能間の効果的なグラフ相互作用を通じて、知覚不能なオブジェクトを発見することができる。 本実験は,既存の最先端手法と比較して,HGINetの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2024-08-27T12:53:25Z)
• Task agnostic continual learning with Pairwise layer architecture [0.0]
  ネットワークの最終層を相互の相互作用層に置き換えることで、継続的な学習性能を向上させることができることを示す。 このアーキテクチャを用いたネットワークは、MNISTとFashionMNISTベースの連続画像分類実験において競合性能を示す。
  論文  参考訳（メタデータ） (2024-05-22T13:30:01Z)
• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• Semantic-aware Texture-Structure Feature Collaboration for Underwater Image Enhancement [58.075720488942125]
  水中画像の強調は海洋工学や水生ロボット工学において重要な技術として注目されている。 我々は,高レベルな意味認識事前学習モデルと協調して,効率的でコンパクトな拡張ネットワークを開発する。 また,提案手法を水中の有意な物体検出タスクに適用し,高レベルの視覚タスクに適した意味認識能力を明らかにする。
  論文  参考訳（メタデータ） (2022-11-19T07:50:34Z)
• Dynamic Scene Deblurring Base on Continuous Cross-Layer Attention Transmission [6.3482616879743885]
  我々は,すべての畳み込み層からの階層的注意情報を活用するための,新しい連続的層間注意伝達(CCLAT)機構を導入する。 RDAFB をビルディングブロックとし,RDAFNet という動的シーン分離のための効果的なアーキテクチャを設計する。 ベンチマークデータセットの実験では、提案されたモデルが最先端のデブロワーリングアプローチよりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-06-23T04:55:13Z)
• Modeling long-term interactions to enhance action recognition [81.09859029964323]
  本稿では,フレームレベルと時間レベルの両方でオブジェクト間の相互作用のセマンティクスを利用する,エゴセントリックなビデオのアンダースタンドアクションに対する新しいアプローチを提案する。 ユーザの手とほぼ対応するプライマリ領域と、相互作用するオブジェクトに対応する可能性のあるセカンダリ領域のセットを入力として、領域ベースのアプローチを使用する。 提案手法は, 標準ベンチマークの動作認識において, 最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2021-04-23T10:08:15Z)
• Learning to Compose Hypercolumns for Visual Correspondence [57.93635236871264]
  本稿では,画像に条件付けされた関連レイヤを活用することで,動的に効率的な特徴を構成する視覚対応手法を提案する。 提案手法はダイナミックハイパーピクセルフロー(Dynamic Hyperpixel Flow)と呼ばれ,深層畳み込みニューラルネットワークから少数の関連層を選択することにより,高速にハイパーカラム機能を構成することを学習する。
  論文  参考訳（メタデータ） (2020-07-21T04:03:22Z)
• Global Context-Aware Progressive Aggregation Network for Salient Object Detection [117.943116761278]
  我々は,低レベルな外観特徴,高レベルな意味特徴,グローバルな文脈特徴を統合化するための新しいネットワークGCPANetを提案する。 提案手法は, 定量的かつ定性的に, 最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-02T04:26:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。