論文の概要: EDIT: Enhancing Vision Transformers by Mitigating Attention Sink through an Encoder-Decoder Architecture

• arxiv url: http://arxiv.org/abs/2504.06738v1
• Date: Wed, 09 Apr 2025 09:51:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:07:29.659942
• Title: EDIT: Enhancing Vision Transformers by Mitigating Attention Sink through an Encoder-Decoder Architecture
• Title（参考訳）: EDIT:エンコーダ・デコーダアーキテクチャによる注意シンクの緩和によるビジョントランスフォーマーの強化
• Authors: Wenfeng Feng, Guoying Sun,
• Abstract要約: EDIT(Encoder-Decoder Image Transformer)は、Vision Transformerモデルで観測される注目シンク現象を軽減するために設計された新しいアーキテクチャである。 EDITはシーケンシャル・アテンション・マップを通じて自然に解釈可能であり、キー画像の特徴に焦点を絞った洗練されたレイヤー・バイ・レイヤを描いている。 ImageNet-1kとImageNet-21kの実験は、転送学習タスクとともに、EDITがDeiT3モデルよりも一貫したパフォーマンス改善を実現していることを示している。
• 参考スコア（独自算出の注目度）: 0.27624021966289597
• License:
• Abstract: In this paper, we propose EDIT (Encoder-Decoder Image Transformer), a novel architecture designed to mitigate the attention sink phenomenon observed in Vision Transformer models. Attention sink occurs when an excessive amount of attention is allocated to the [CLS] token, distorting the model's ability to effectively process image patches. To address this, we introduce a layer-aligned encoder-decoder architecture, where the encoder utilizes self-attention to process image patches, while the decoder uses cross-attention to focus on the [CLS] token. Unlike traditional encoder-decoder framework, where the decoder depends solely on high-level encoder representations, EDIT allows the decoder to extract information starting from low-level features, progressively refining the representation layer by layer. EDIT is naturally interpretable demonstrated through sequential attention maps, illustrating the refined, layer-by-layer focus on key image features. Experiments on ImageNet-1k and ImageNet-21k, along with transfer learning tasks, show that EDIT achieves consistent performance improvements over DeiT3 models. These results highlight the effectiveness of EDIT's design in addressing attention sink and improving visual feature extraction.
• Abstract（参考訳）: 本稿では,視覚変換器モデルで観測される注目シンク現象を緩和する新しいアーキテクチャであるEDIT(Encoder-Decoder Image Transformer)を提案する。 注意シンクは、[CLS]トークンに過剰な注意を割り当てた時に発生し、画像パッチを効果的に処理するモデルの能力を歪ませる。 そこでは,エンコーダがイメージパッチの処理に自己アテンションを利用するのに対して,デコーダはクロスアテンションを使用して[CLS]トークンにフォーカスする。 デコーダが高レベルなエンコーダ表現にのみ依存する従来のエンコーダ・デコーダフレームワークとは異なり、EDITはデコーダが低レベルな特徴から情報を取り出すことができる。 EDITはシーケンシャル・アテンション・マップを通じて自然に解釈可能であり、キー画像の特徴に焦点を絞った洗練されたレイヤー・バイ・レイヤを描いている。 ImageNet-1kとImageNet-21kの実験は、転送学習タスクとともに、EDITがDeiT3モデルよりも一貫したパフォーマンス改善を実現していることを示している。 これらの結果は,注意シンクに対処し,視覚的特徴抽出を改善するためのEDITの設計の有効性を強調した。

関連論文リスト

• FE-LWS: Refined Image-Text Representations via Decoder Stacking and Fused Encodings for Remote Sensing Image Captioning [0.15346678870160887]
  本稿では、2つの異なるCNNベースのエンコーダの特徴を統合する新しいアプローチを提案する。 また、重み付きデコーダにおける全GRUの出力を結合する重み付き平均化手法を提案する。 以上の結果から,我々の核融合に基づくアプローチは,拡張スタックデコーダとともに,トランスフォーマーベースモデルと他のLSTMベースラインとを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2025-02-13T12:54:13Z)
• Col-OLHTR: A Novel Framework for Multimodal Online Handwritten Text Recognition [82.88856416080331]
  オンライン手書き文字認識(OLHTR)は様々な用途で注目されている。 現在のアプローチは通常、OLHTRをシーケンス認識タスクとして扱い、単一のトラジェクトリまたはイメージエンコーダまたはマルチストリームエンコーダを使用する。 単ストリーム推論プロセスを維持しながら、トレーニング中にマルチモーダルな特徴を学習するコラボレーティブ学習ベースのOLHTRフレームワークCol-OLHTRを提案する。
  論文  参考訳（メタデータ） (2025-02-10T02:12:24Z)
• Epsilon-VAE: Denoising as Visual Decoding [61.29255979767292]
  生成モデリングにおいて、トークン化は複雑なデータをコンパクトで構造化された表現に単純化し、より効率的で学習可能な空間を作り出す。 現在の視覚的トークン化手法は従来のオートエンコーダフレームワークに依存しており、エンコーダはデータを潜在表現に圧縮し、デコーダは元の入力を再構築する。 具体的には,デコーダを拡散処理に置き換え,ノイズを反復的に除去して元のイメージを復元し,エンコーダが提供する潜伏者によって誘導される。
  論文  参考訳（メタデータ） (2024-10-05T08:27:53Z)
• Effective Image Tampering Localization via Enhanced Transformer and Co-attention Fusion [5.691973573807887]
  本稿では,2分岐拡張型トランスフォーマーエンコーダを用いた画像改ざんネットワーク(EITLNet)を提案する。 RGBとノイズストリームから抽出した特徴は、座標注意に基づく融合モジュールによって効果的に融合される。
  論文  参考訳（メタデータ） (2023-09-17T15:43:06Z)
• Towards Complex Backgrounds: A Unified Difference-Aware Decoder for Binary Segmentation [4.6932442139663015]
  本稿では、差分認識デコーダと呼ばれる新しい統合二重分岐デコーダパラダイムを提案する。 差分認識デコーダは、エンコーダによって出力されるマルチレベル特徴を用いて、人間の目を3段階に模倣する。 その結果、差認識デコーダは、他の最先端のバイナリセグメンテーション手法よりも高い精度で実現できることを示した。
  論文  参考訳（メタデータ） (2022-10-27T03:45:29Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems [38.672160430296536]
  トランスフォーマーモデルは、要約を含む幅広いNLPタスクにおいて最先端の結果を得た。 これまでの研究は、エンコーダの二次的自己保持機構という、重要なボトルネックに重点を置いてきた。 この研究はトランスのエンコーダ・デコーダのアテンション機構に焦点を当てている。
  論文  参考訳（メタデータ） (2021-09-08T19:32:42Z)
• Dynamic Neural Representational Decoders for High-Resolution Semantic Segmentation [98.05643473345474]
  動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。 エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。 このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
  論文  参考訳（メタデータ） (2021-07-30T04:50:56Z)
• Uformer: A General U-Shaped Transformer for Image Restoration [47.60420806106756]
  画像復元のためにTransformerブロックを用いた階層型エンコーダデコーダネットワークを構築した。 いくつかの画像復元タスクの実験は、Uformerの優位性を示している。
  論文  参考訳（メタデータ） (2021-06-06T12:33:22Z)
• Beyond Single Stage Encoder-Decoder Networks: Deep Decoders for Semantic Image Segmentation [56.44853893149365]
  セマンティックセグメンテーションのための単一エンコーダ-デコーダ手法は、セマンティックセグメンテーションの品質とレイヤー数あたりの効率の観点からピークに達している。 そこで本研究では,より多くの情報コンテンツを取得するために,浅層ネットワークの集合を用いたデコーダに基づく新しいアーキテクチャを提案する。 アーキテクチャをさらに改善するために,ネットワークの注目度を高めるために,クラスの再バランスを目的とした重み関数を導入する。
  論文  参考訳（メタデータ） (2020-07-19T18:44:34Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。