論文の概要: Enhancing Layer Interaction Using Key-Correlated Layer Attention

• arxiv url: http://arxiv.org/abs/2606.28405v1
• Date: Wed, 24 Jun 2026 13:54:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.549971
• Title: Enhancing Layer Interaction Using Key-Correlated Layer Attention
• Title（参考訳）: Key-Correlated Layer Attention を用いた層間相互作用の強化
• Abstract要約: KCLA(Key-Correlated Layer Attention)は,注目層におけるキー表現はコサインの類似性が高いという観察に着想を得たものである。 KCLAは動的情報更新を保持しながら線形計算複雑性を実現する。 画像認識、オブジェクト検出、医療画像のセグメンテーションなど、さまざまなタスクにわたって優れたパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 12.760214212097795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in network architecture design have introduced layer attention to enhance inter-layer interactions. In such frameworks, each layer queries all preceding layers to establish cross-layer connections. However, layer attention results in quadratic computational complexity with respect to network depth. To mitigate this issue, prior works have proposed Recurrent Layer Attention (RLA) and linear attention mechanisms, which suffer from static information updates and limited long-range cross-layer dependency modeling. To overcome these limitations, we propose Key-Correlated Layer Attention (KCLA), inspired by our observation that Key representations in layer attention exhibit high cosine similarity. KCLA achieves linear computational complexity while preserving dynamic information updates, directly derived from the foundational definition of layer attention. Furthermore, KCLA maintains long-range cross-layer connections and features a fixed spatial complexity, independent of network depth. Empirical evaluations demonstrate that KCLA delivers good performance across diverse tasks, including image recognition, object detection, and medical image segmentation. The code is publicly available at https://github.com/bgx666/KCLA.
• Abstract（参考訳）: ネットワークアーキテクチャ設計の最近の進歩は、層間相互作用を強化するために層注目を導入している。 このようなフレームワークでは、各レイヤが先行するすべてのレイヤをクエリして、層間接続を確立する。 しかし、レイヤーの注意はネットワークの深さに関して2次計算の複雑さをもたらす。 この問題を軽減するため、従来の研究では、静的情報更新と制限された長距離層依存性モデリングに苦しむリカレント・レイヤ・アテンション(RLA)と線形アテンション機構が提案されている。 これらの制約を克服するため,我々はキー・コラーレンス・レイヤ・アテンション (KCLA) を提案する。 KCLAは動的情報更新を保ちながら線形計算複雑性を実現する。 さらに、KCLAは長距離の層間接続を維持し、ネットワーク深度に依存しない固定空間の複雑さを特徴としている。 経験的評価では、KCLAは画像認識、オブジェクト検出、医用画像のセグメンテーションなど、さまざまなタスクに優れたパフォーマンスを提供する。 コードはhttps://github.com/bgx666/KCLAで公開されている。

関連論文リスト

• KeepLoRA++: Continual Learning with Layer-Scaled Residual Gradient Adaptation [67.23448686598414]
  事前学習された視覚言語モデルの継続的な学習には、3つの競合する目標のバランスが必要である。 本稿では,2次元知識保持機構を統一したKeepLoRA++を提案する。
  論文  参考訳（メタデータ） (2026-06-15T05:57:59Z)
• Dynamic Cross-Modal Feature Interaction Network for Hyperspectral and LiDAR Data Classification [66.59320112015556]
  ハイパースペクトル画像(HSI)とLiDARデータ共同分類は難しい課題である。 DCMNet(Dynamic Cross-Modal Feature Interaction Network)を提案する。 BSAB(Bilinear Spatial Attention Block)、BCAB(Bilinear Channel Attention Block)、ICB(Integration Convolutional Block)の3つの機能相互作用ブロックを導入している。
  論文  参考訳（メタデータ） (2025-03-10T05:50:13Z)
• Enhancing Layer Attention Efficiency through Pruning Redundant Retrievals [0.0]
  隣接層間のKL(Kulback-Leibler)のばらつきを利用して冗長性を定量化する手法を提案する。 また、冗長層を正確に識別し、スキップする拡張ベータ量子マッピング(EBQM)手法も導入する。 提案したELAアーキテクチャは,トレーニング効率と全体的なパフォーマンスを両立させ,トレーニング時間の30%削減を実現している。
  論文  参考訳（メタデータ） (2025-03-09T06:20:11Z)
• Hierarchical Graph Interaction Transformer with Dynamic Token Clustering for Camouflaged Object Detection [57.883265488038134]
  本稿では,HGINetと呼ばれる階層的なグラフ相互作用ネットワークを提案する。 このネットワークは、階層的トークン化機能間の効果的なグラフ相互作用を通じて、知覚不能なオブジェクトを発見することができる。 本実験は,既存の最先端手法と比較して,HGINetの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2024-08-27T12:53:25Z)
• Strengthening Layer Interaction via Dynamic Layer Attention [12.341997220052486]
  既存のレイヤーアテンション手法は固定された特徴写像上の層間相互作用を静的に達成する。 注意機構の動的コンテキスト表現能力を復元するために,動的レイヤアテンションアーキテクチャを提案する。 実験の結果,提案したDLAアーキテクチャの有効性が示され,画像認識や物体検出タスクにおける他の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-19T09:35:14Z)
• Dense Network Expansion for Class Incremental Learning [61.00081795200547]
  最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。 精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。 従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
  論文  参考訳（メタデータ） (2023-03-22T16:42:26Z)
• Kernel function impact on convolutional neural networks [10.98068123467568]
  畳み込みニューラルネットワークの異なる層におけるカーネル関数の利用について検討する。 より歪みに敏感なプール層を導入することで、カーネル関数を効果的に活用する方法を示す。 完全接続層を置き換えるKDL(Kernelized Dense Layers)を提案する。
  論文  参考訳（メタデータ） (2023-02-20T19:57:01Z)
• Dynamic Scene Deblurring Base on Continuous Cross-Layer Attention Transmission [6.3482616879743885]
  我々は,すべての畳み込み層からの階層的注意情報を活用するための,新しい連続的層間注意伝達(CCLAT)機構を導入する。 RDAFB をビルディングブロックとし,RDAFNet という動的シーン分離のための効果的なアーキテクチャを設計する。 ベンチマークデータセットの実験では、提案されたモデルが最先端のデブロワーリングアプローチよりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-06-23T04:55:13Z)
• Adaptive Cross-Layer Attention for Image Restoration [10.795382525098917]
  非局所的な注意プロセスは各レイヤの特徴を別々に扱うため、異なるレイヤ間の特徴の相関を欠くリスクがある。 本稿では,新しいアダプティブ・クロスレイア・アテンション(ACLA)モジュールを提案する。 1) 各層における非局所的注意のためのキーを適応的に選択すること,(2)ACLAモジュールの挿入位置を自動的に検索すること,の2つの適応設計を提案する。
  論文  参考訳（メタデータ） (2022-03-04T22:16:18Z)
• Cross-layer Feature Pyramid Network for Salient Object Detection [102.20031050972429]
  本稿では,有能な物体検出における進行的融合を改善するために,新しいクロス層特徴ピラミッドネットワークを提案する。 レイヤごとの分散機能は、他のすべてのレイヤからセマンティクスと健全な詳細の両方を同時に所有し、重要な情報の損失を減らします。
  論文  参考訳（メタデータ） (2020-02-25T14:06:27Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。