論文の概要: Exploiting Biases in Attention for Transformers
- arxiv url: http://arxiv.org/abs/2611.04657v1
- Date: Tue, 03 Nov 2026 10:44:30 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:52:02.121731
- Title: Exploiting Biases in Attention for Transformers
- Title（参考訳）: 変圧器の留意点
- Abstract要約: トークンは、クエリとは独立して、注意プロセスにおいて絶対的に重要であることを示す。
本稿では,クエリキードット積に入力依存バイアスを加えることで,この現象を明示するアテンション公式の再構成を提案する。
これにより、FLOPと推論遅延の両方の観点から計算コストを大幅に削減できると同時に、元の分類精度のほとんどを維持できる。
- 参考スコア（独自算出の注目度）: 13.583841141384008
- License:
- Abstract: Attention is known to be sparse in vision transformers. In particular, we analyze the unequal relevance of attention-matrix columns to the final computation and show that this phenomenon becomes increasingly pronounced with network depth. This can be interpreted as saying that tokens have an absolute importance for the attention process, independently of queries. Inspired by this, we propose a reformulation of the attention formula that makes this phenomenon explicit by adding an input-dependent bias to the query-key dot product. We show that this new term gives each token a scalar value indicating its anticipated influence on other tokens during the attention process, and can thus serve as a proxy for pruning attention maps. Across multiple transformer model sizes, this allows us to substantially reduce the computational cost of attention, in terms of both FLOPs and inference latency, while retaining most of the original classification accuracy. We publicly released the code and models at https://github.com/EIDOSLAB/AttentionWithBias.
- Abstract（参考訳）: 注意は視覚変換器で疎結合であることが知られている。
特に,アテンション行列列の不等式と最終計算との関係を解析し,この現象がネットワーク深度とともに顕著になることを示す。
これは、トークンがクエリとは独立して、注意プロセスにおいて絶対的に重要である、と解釈できる。
このことに着想を得て,クエリキードット積に入力依存バイアスを加えることで,この現象を明示するアテンション公式の再構成を提案する。
この新しい用語は,各トークンが注意プロセス中に他のトークンに期待される影響を示すスカラー値を与え,注意マップを解析するためのプロキシとして機能することを示す。
複数のトランスモデルサイズにまたがって、FLOPと推論遅延の両面から計算コストを大幅に削減し、元の分類精度のほとんどを維持できる。
コードとモデルはhttps://github.com/EIDOSLAB/AttentionWithBias.comで公開しました。
関連論文リスト
- DAPE V2: Process Attention Score as Feature Map for Length Extrapolation [63.87956583202729]
我々は特徴写像としての注意を概念化し、コンピュータビジョンにおける処理方法を模倣するために畳み込み演算子を適用した。
様々な注意関係のモデルに適応できる新しい洞察は、現在のTransformerアーキテクチャがさらなる進化の可能性があることを示している。
論文 参考訳（メタデータ） (2024-10-07T07:21:49Z) - Unveiling and Controlling Anomalous Attention Distribution in Transformers [8.456319173083315]
ウェイバー現象は、要素が情報への貢献に影響を与えることなく過剰な注意を吸収することを可能にする。
特定のモデルでは、位置符号化と注意パターンの違いにより、モデルによるウェイブラー要素の選択は2つの方法に分類できることがわかった。
論文 参考訳（メタデータ） (2024-06-26T11:53:35Z) - How Much Does Attention Actually Attend? Questioning the Importance of
Attention in Pretrained Transformers [59.57128476584361]
本稿では,入力依存型アテンション行列を一定値に置き換える新しい探索手法PAPAを紹介する。
入力依存の注意を払わずに、全てのモデルが競争性能を達成できることがわかった。
より弱いモデルよりも、我々の手法を適用することでより良い性能のモデルが失われることが示され、入力依存の注意機構の利用がその成功の要因である可能性が示唆された。
論文 参考訳（メタデータ） (2022-11-07T12:37:54Z) - More Identifiable yet Equally Performant Transformers for Text
Classification [13.439554931699695]
変圧器の予測は、注意重み、すなわち自己注意単位(頭部)で生じる確率分布によって広く説明される。
現在の実証研究は、注意重みが特異でないことを証明することによって説明できないという証拠のシャーレを提供している。
頭部への所定の入力とその出力について、注意重みがユニークであれば、重みを識別可能と呼ぶ。
我々は、キーと値ベクトルの関係を分離し、入力の所望の長さまで同定可能な重みを与えるエンコーダ層の変種を提供する。
論文 参考訳（メタデータ） (2021-06-02T16:21:38Z) - KVT: k-NN Attention for Boosting Vision Transformers [44.189475770152185]
我々は、視力変換器の強化を目的とした、k-NNアテンションと呼ばれるスパースアテンション方式を提案する。
提案したk-NNアテンションは、畳み込み操作を導入することなくCNNの局所バイアスを自然に継承する。
理論的にも経験的にも、$k$-NNの注意力は入力トークンからのノイズの蒸留やトレーニングの高速化に有効である。
論文 参考訳（メタデータ） (2021-05-28T06:49:10Z) - SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。
事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。
本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-25T14:13:44Z) - Learning Hard Retrieval Decoder Attention for Transformers [69.40942736249397]
トランスフォーマー変換モデルは、容易に並列化できるマルチヘッドアテンション機構に基づいている。
ハード検索の注意機構は復号化の1.43倍高速であることを示す。
論文 参考訳（メタデータ） (2020-09-30T13:18:57Z) - Quantifying Attention Flow in Transformers [12.197250533100283]
自己注意(self-attention)"は、出席した埋め込みからの情報を次の層への焦点埋め込みの表現に結合する。
これにより、説明プローブとして注意重みが信頼できない。
本稿では,注目重み,注目ロールアウト,注目フローを付加した入力トークンへの注意を近似する2つの手法を提案する。
論文 参考訳（メタデータ） (2020-05-02T21:45:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。