論文の概要: Towards Understanding the Nature of Attention with Low-Rank Sparse Decomposition

• arxiv url: http://arxiv.org/abs/2504.20938v1
• Date: Tue, 29 Apr 2025 17:03:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.002966
• Title: Towards Understanding the Nature of Attention with Low-Rank Sparse Decomposition
• Title（参考訳）: 低ランクスパース分解による注意の性質理解に向けて
• Authors: Zhengfu He, Junxuan Wang, Rui Lin, Xuyang Ge, Wentao Shu, Qiong Tang, Junping Zhang, Xipeng Qiu,
• Abstract要約: 我々は,MHSA(Multi Head Self Attention)を個別に理解可能なコンポーネントに分解するために,ローランドスパース注意(Lorsa)を提案する。 Lorsa Headは以前発見されたMHSA行動のより清潔できめ細かいバージョンであることを示す。 Lorsa と Sparse Autoencoder (SAE) はどちらも異なる Transformer コンポーネントに適用されるスパース辞書学習法である。
• 参考スコア（独自算出の注目度）: 60.95047500466925
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Low-Rank Sparse Attention (Lorsa), a sparse replacement model of Transformer attention layers to disentangle original Multi Head Self Attention (MHSA) into individually comprehensible components. Lorsa is designed to address the challenge of attention superposition to understand attention-mediated interaction between features in different token positions. We show that Lorsa heads find cleaner and finer-grained versions of previously discovered MHSA behaviors like induction heads, successor heads and attention sink behavior (i.e., heavily attending to the first token). Lorsa and Sparse Autoencoder (SAE) are both sparse dictionary learning methods applied to different Transformer components, and lead to consistent findings in many ways. For instance, we discover a comprehensive family of arithmetic-specific Lorsa heads, each corresponding to an atomic operation in Llama-3.1-8B. Automated interpretability analysis indicates that Lorsa achieves parity with SAE in interpretability while Lorsa exhibits superior circuit discovery properties, especially for features computed collectively by multiple MHSA heads. We also conduct extensive experiments on architectural design ablation, Lorsa scaling law and error analysis.
• Abstract（参考訳）: 本稿では,トランスフォーマーアテンション層のスパース置換モデルであるローランドスパースアテンション(Lorsa)を提案し,元のMHSA(Multi Head Self Attention)を個別に理解可能なコンポーネントに分解する。 Lorsaは、異なるトークン位置にある特徴間の注意が介在する相互作用を理解するために、注意重畳の課題に取り組むように設計されている。 ロサヘッドは、誘導ヘッド、後継ヘッド、アテンションシンク動作(すなわち、最初のトークンに強く参加する)など、以前に発見されたMHSAの行動のより清潔できめ細かいバージョンを見つける。 LorsaとSparse Autoencoder(SAE)はどちらも異なるTransformerコンポーネントに適用されたスパース辞書学習法であり、多くの点で一貫した発見につながる。 例えば、Llama-3.1-8Bの原子操作に対応する算術固有のLorsaヘッドの包括的なファミリーを発見する。 自動解釈可能性解析は、LorsaがSAEと等価性を達成し、一方Lorsaは優れた回路発見特性を示し、特に複数のMHSAヘッドで集約的に計算される特徴について示す。 また、アーキテクチャ設計アブレーション、ロルサスケーリング法則、エラー解析に関する広範な実験を行った。

関連論文リスト

• On the Emergence of Position Bias in Transformers [59.87743433861665]
  本稿では,多層アテンションにおける位置バイアスを解析するための新しいグラフ理論フレームワークを提案する。 我々は,トークンが逐次位置に基づいてコンテキスト情報とどのように相互作用するかを定量化する。 我々のフレームワークは、トランスにおける位置バイアスを理解するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-02-04T02:53:07Z)
• Unified CNNs and transformers underlying learning mechanism reveals multi-head attention modus vivendi [0.0]
  畳み込みニューラルネットワーク(CNN)は、層に沿って進行する入力画像の短距離相関を評価する。 視覚変換器(ViT)アーキテクチャは、完全に接続された層からなる繰り返し変換器エンコーダを用いて、長距離相関を評価する。 本研究は,CNNとViTアーキテクチャが基盤となる学習機構の統一に由来することを示す。
  論文  参考訳（メタデータ） (2025-01-22T14:19:48Z)
• On the token distance modeling ability of higher RoPE attention dimension [76.55792402912027]
  本研究では,注目ヘッドの隠蔽次元と長距離依存の捕捉への寄与との関係について検討する。 我々は、様々な長さ計測モデルから特定の種類の注意ヘッドを同定し、位置頭部と命名した。 これらのヘッドは、長距離情報相互作用に強く焦点を合わせ、長い入力処理において重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-10-11T10:47:02Z)
• Interpreting Attention Layer Outputs with Sparse Autoencoders [3.201633659481912]
  モデルアクティベーションを解釈可能なコンポーネントに分解することは、機械的解釈可能性において鍵となるオープンな問題である。 この作業では、注意層出力でSAEをトレーニングし、ここでもSAEがスパースで解釈可能な分解を見つけることを示す。 Sparse Autoencodersは、研究者が以前の作業よりも詳細にモデル動作を説明するのに役立つツールであることを示す。
  論文  参考訳（メタデータ） (2024-06-25T17:43:13Z)
• Memorization Capacity of Multi-Head Attention in Transformers [41.63663596609437]
  本稿では, マルチヘッドアテンション機構の記憶能力について検討し, 記憶可能な事例数について検討する。 視覚変換器の実験結果により,入力データの線形独立性に関する新たな仮定が導入された。 我々の分析では、ソフトマックス演算子の飽和特性によって、異なる注目ヘッドが様々なサンプルシーケンスをどのように扱うかについて光を当てている。
  論文  参考訳（メタデータ） (2023-06-03T05:45:29Z)
• Compositional Attention: Disentangling Search and Retrieval [66.7108739597771]
  Multi-head, key-value attention は Transformer モデルとそのバリエーションのバックボーンである。 標準的なアテンションヘッドは、検索と検索の間の厳密なマッピングを学ぶ。 本稿では,標準ヘッド構造を置き換える新しいアテンション機構であるコンポジションアテンションアテンションを提案する。
  論文  参考訳（メタデータ） (2021-10-18T15:47:38Z)
• AFD-Net: Adaptive Fully-Dual Network for Few-Shot Object Detection [8.39479809973967]
  Few-shot Object Detection (FSOD) は、未確認の物体に迅速に適応できる検出器の学習を目的としている。 既存の方法では、共有コンポーネントを用いて分類と局所化のサブタスクを実行することで、この問題を解決している。 本稿では,2つのサブタスクの明示的な分解を考慮し,両者の情報を活用して特徴表現の強化を図ることを提案する。
  論文  参考訳（メタデータ） (2020-11-30T10:21:32Z)
• Learning Hard Retrieval Decoder Attention for Transformers [69.40942736249397]
  トランスフォーマー変換モデルは、容易に並列化できるマルチヘッドアテンション機構に基づいている。 ハード検索の注意機構は復号化の1.43倍高速であることを示す。
  論文  参考訳（メタデータ） (2020-09-30T13:18:57Z)
• Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation [73.11214377092121]
  我々は,各エンコーダ層の注意頭数のみを,単純な固定型(非学習型)の注意パターンに置き換えることを提案する。 異なるデータサイズと複数の言語ペアを用いた実験により、トレーニング時にトランスフォーマーのエンコーダ側でアテンションヘッドを固定することは翻訳品質に影響を与えないことが示された。
  論文  参考訳（メタデータ） (2020-02-24T13:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。