論文の概要: Contribution Weights: A Geometrical Analysis of Self-Attention Transformers
- arxiv url: http://arxiv.org/abs/2606.07604v1
- Date: Fri, 29 May 2026 09:40:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.770389
- Title: Contribution Weights: A Geometrical Analysis of Self-Attention Transformers
- Title（参考訳）: コントリビューションウェイト:自己注意変換器の幾何学的解析
- Abstract要約: EmphContribution Weightsは、トークンの注意重み、値の大きさ、および層出力との方向アライメントを考慮し、トークンの影響を定量化するプロジェクションベースの計量である。
コントリビューションウェイトはトークンの重要度をより忠実に測定し、意味的に重要なトークンを識別する際の注意ベースの指標を一貫して上回っていることを実証する。
- 参考スコア（独自算出の注目度）: 2.211558736382652
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Analyzing attention weights has become a standard approach for interpreting the information flow of Large Language Models (LLMs). However, this approach has significant limitations as it neglects the geometric properties of the value vectors being aggregated. To address this gap, we introduce \emph{Contribution Weights}, a projection-based metric that quantifies a token's influence by accounting for it's attention weight, value magnitude, and directional alignment with the layer output. We demonstrate that contribution weights provide a more faithful measure of token importance, consistently outperforming attention-based metrics in identifying semantically critical tokens across different decoder-only models, tasks, and datasets. Further, our metric enables novel mechanistic analysis of \emph{attention sinks}. While previous work characterized sinks as passive repositories for excess attention, we reveal they serve an active functional role, suppressing information through a convex relationship between sink rate and output norm, stabilizing representations by opposing the semantic drift of low-confidence tokens.
- Abstract（参考訳）: 注意重みの分析は,Large Language Models (LLMs) の情報フローを解釈するための標準的なアプローチとなっている。
しかし、このアプローチは、集約される値ベクトルの幾何学的性質を無視するため、かなりの制限がある。
このギャップに対処するために、注視重量、値の大きさ、および層出力との方向アライメントを考慮し、トークンの影響を定量化するプロジェクションベースの計量である \emph{Contribution Weights} を導入する。
コントリビューションウェイトはトークンの重要性をより忠実に測定し、さまざまなデコーダのみのモデル、タスク、データセット間のセマンティッククリティカルトークンの識別において、一貫して注目ベースの指標よりも優れています。
さらに,本測定により,emph{attention sink} の力学解析が可能となった。
過去の研究では、シンクを過剰な注意のためにパッシブレポジトリとして特徴付けていたが、それらはアクティブな機能的役割を担い、シンクレートと出力ノルムの凸関係を通じて情報を抑圧し、低信頼トークンのセマンティックドリフトに反対して表現を安定化させた。
関連論文リスト
- Information-Aware KV Cache Compression for Long Reasoning [71.77807044404499]
既存のKVキャッシュ圧縮法は主にトークンの重要性を推定するために注意重みに依存する。
情報理論を組み込んだエントロピー対応KVキャッシュ圧縮フレームワークである textbfInfoKV を提案する。
論文 参考訳（メタデータ） (2026-06-25T11:03:37Z) - TensorLens: End-to-End Transformer Analysis via High-Order Attention Tensors [53.891337639229285]
高次アテンション・インタラクション接続を通して表現された入力依存線形演算子として変換器全体をキャプチャする新しい定式化である attentionLens を導入する。
本実験は,注目テンソルが,解釈可能性とモデル理解を目的としたツール開発のための強力な基盤となることを実証した。
論文 参考訳（メタデータ） (2026-01-25T19:21:25Z) - Don't Take Things Out of Context: Attention Intervention for Enhancing Chain-of-Thought Reasoning in Large Language Models [32.71672086718058]
CoT (Few-shot Chain-of-Thought) は大規模言語モデル (LLM) の推論能力を著しく向上させる
我々は、COTのデモで分離されたセグメント、単語、トークンが、予期せずLCMの生成過程を乱す可能性があることを観察する。
デモの注意パターンを動的に解析し,これらのトークンを正確に識別するFew-shot Attention Intervention法(FAI)を提案する。
論文 参考訳（メタデータ） (2025-03-14T07:46:33Z) - "Principal Components" Enable A New Language of Images [79.45806370905775]
証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。
提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
論文 参考訳（メタデータ） (2025-03-11T17:59:41Z) - Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。
注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
論文 参考訳（メタデータ） (2024-09-20T07:41:47Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - Measuring the Mixing of Contextual Information in the Transformer [0.19116784879310028]
注意ブロック - 複数頭部の注意、残差接続、および層正規化 - を考慮し、トークンとトークンの相互作用を測定するための計量を定義する。
次に,階層的な解釈を集約し,モデル予測のための入力属性スコアを提供する。
実験により,本手法は忠実な説明を提供し,類似のアグリゲーション法より優れていることを示す。
論文 参考訳（メタデータ） (2022-03-08T17:21:27Z) - SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。
事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。
本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-25T14:13:44Z) - Attention improves concentration when learning node embeddings [1.2233362977312945]
検索クエリテキストでラベル付けされたノードを考えると、製品を共有する関連クエリへのリンクを予測したい。
様々なディープニューラルネットワークを用いた実験では、注意機構を備えた単純なフィードフォワードネットワークが埋め込み学習に最適であることが示されている。
本稿では,クエリ生成モデルであるAttESTを提案する。このモデルでは,製品とクエリテキストの両方を,潜在空間に埋め込まれたベクトルとして見ることができる。
論文 参考訳（メタデータ） (2020-06-11T21:21:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。