論文の概要: Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers

• arxiv url: http://arxiv.org/abs/2406.11274v1
• Date: Mon, 17 Jun 2024 07:24:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 17:54:42.294179
• Title: Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers
• Title（参考訳）: Skip-Layer 注意: 変換器の抽象化と詳細依存性
• Authors: Qian Chen, Wen Wang, Qinglin Zhang, Siqi Zheng, Shiliang Zhang, Chong Deng, Hai Yu, Jiaqing Liu, Yukun Ma, Chong Zhang,
• Abstract要約: 本稿では、Transformerモデルを強化するためのSLA(Skip-Layer Attention)を提案する。 SLAは、高レベルの抽象機能と低レベルの詳細の間の依存関係をキャプチャするモデルの能力を改善します。 我々の実装は、与えられたレイヤ内のクエリが、現在のレイヤと前のレイヤの両方のキーと値とやり取りできるようにすることで、Transformerの機能を拡張します。
• 参考スコア（独自算出の注目度）: 56.264673865476986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Transformer architecture has significantly advanced deep learning, particularly in natural language processing, by effectively managing long-range dependencies. However, as the demand for understanding complex relationships grows, refining the Transformer's architecture becomes critical. This paper introduces Skip-Layer Attention (SLA) to enhance Transformer models by enabling direct attention between non-adjacent layers. This method improves the model's ability to capture dependencies between high-level abstract features and low-level details. By facilitating direct attention between these diverse feature levels, our approach overcomes the limitations of current Transformers, which often rely on suboptimal intra-layer attention. Our implementation extends the Transformer's functionality by enabling queries in a given layer to interact with keys and values from both the current layer and one preceding layer, thus enhancing the diversity of multi-head attention without additional computational burden. Extensive experiments demonstrate that our enhanced Transformer model achieves superior performance in language modeling tasks, highlighting the effectiveness of our skip-layer attention mechanism.
• Abstract（参考訳）: Transformerアーキテクチャは、特に自然言語処理において、長距離依存関係を効果的に管理することにより、かなり高度なディープラーニングを実現している。 しかし、複雑な関係を理解する必要性が高まるにつれて、トランスフォーマーのアーキテクチャの洗練が重要になる。 本稿では,非隣接層間の直接的注意を可能とし,トランスフォーマーモデルを強化するために,SLA(Skip-Layer Attention)を提案する。 この方法は、高レベルの抽象的特徴と低レベルの詳細の間の依存関係をキャプチャするモデルの能力を改善する。 これらの特徴レベル間で直接の注意を喚起することにより、我々は現在のトランスフォーマーの限界を克服する。 本実装では,各レイヤ内のクエリが,現在のレイヤと先行レイヤの両方のキーと値とを相互作用させることで,計算負担を伴わずにマルチヘッドアテンションの多様性を向上させることにより,Transformerの機能を拡張する。 拡張トランスフォーマーモデルは言語モデリングタスクにおいて優れた性能を示し、スキップ層アテンション機構の有効性を強調した。

関連論文リスト

• Knowledge-enhanced Transformer for Multivariate Long Sequence Time-series Forecasting [4.645182684813973]
  本研究では,変数間の概念的関係をよく定義された知識グラフ内にカプセル化する新しい手法を提案する。 PatchTST, Autoformer, Informer, Vanilla Transformer などのセマンティックアーキテクチャへの統合の影響について検討する。 この拡張により、変数間の固有の構造的関係に対処するトランスフォーマーベースのアーキテクチャが強化される。
  論文  参考訳（メタデータ） (2024-11-17T11:53:54Z)
• Pyramid Hierarchical Transformer for Hyperspectral Image Classification [1.9427851979929982]
  ピラミッド型階層変換器(PyFormer)を提案する。 この革新的なアプローチは、入力データを階層的にセグメントにまとめ、それぞれが異なる抽象レベルを表す。 その結果,従来の手法よりも提案手法の方が優れていることが示された。
  論文  参考訳（メタデータ） (2024-04-23T11:41:19Z)
• On the Long Range Abilities of Transformers [69.3021852589771]
  トランスアーキテクチャの変更を最小限に抑えることで,Long Range Arenaベンチマークの性能を大幅に向上させることができることを示す。 長距離タスクの2つの鍵となる原理(すなわち、滑らか性に対する帰納的バイアス)と局所性(すなわち、局所性)である。 以下に示すように、これらのアイデアを注意機構に組み込むことで、追加の計算量や追加のトレーニング可能なパラメータなしで結果を改善することができる。
  論文  参考訳（メタデータ） (2023-11-28T09:21:48Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)
• Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
  注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。 提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
  論文  参考訳（メタデータ） (2021-05-29T05:26:07Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Evolving Attention with Residual Convolutions [29.305149185821882]
  本稿では,変圧器の性能向上を目的とした新しいメカニズムを提案する。 提案された注意メカニズムは、複数のタスクに対する様々な最新モデルに対する大幅なパフォーマンス改善を実現する。
  論文  参考訳（メタデータ） (2021-02-20T15:24:06Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。