論文の概要: SVD-Attention: Efficiently Analyzing Attention Blocks in Transformers
- arxiv url: http://arxiv.org/abs/2610.34971v1
- Date: Mon, 26 Oct 2026 07:40:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.787646
- Title: SVD-Attention: Efficiently Analyzing Attention Blocks in Transformers
- Title（参考訳）: SVD-Attention: 変圧器のアテンションブロックを効率的に解析する
- Abstract要約: 事前訓練されたトランスフォーマーは、自己注意の中で推論計算の大部分を消費する。
本稿では,頭部間相互作用行列を$M_h$で分解するSVD-Attentionを提案する。
スペクトル等級と、小さなキャリブレーションセット上のトークン間のアクティベーションのばらつきによって、全ての特異モードをスコアする。
- 参考スコア（独自算出の注目度）: 8.59555773485975
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pretrained transformers spend a large share of their inference compute inside self-attention, yet the per-head query-key interaction is structurally low-rank by construction. We ask a diagnostic question: across layers and architectures, which heads actually use the full rank budget on real data, and which do not? We propose SVD-Attention, a post-hoc method that decomposes the per-head interaction matrix $M_h$ and scores every singular mode by both its spectral magnitude and its activation variance across tokens on a small calibration set. The score keeps the modes the head can amplify and that real data actually activates, and discards the rest; the resulting factorization is exact for the retained modes and needs no finetuning. Across seven pretrained models and five task types, the diagnostic finds a task-dependent pattern: redundancy sits in the early to middle layers for sentiment and image classification and for generation, and in the late layers for dense prediction and extractive question answering. It is also predictive: truncating the layers it flags costs at most $1.75$ F1, while truncating the same number of layers elsewhere in the same model costs up to $50$ F1. SVD-Attention is an analysis tool rather than a compression method: acting on it reduces inference FLOPs by $0.8$-$1.5\%$ on its own and by $8$-$11\%$ when composed with weight pruning, with $0$-$4\%$ change in task quality.
- Abstract（参考訳）: 事前訓練されたトランスフォーマーは、自己アテンション内での推論計算の大部分を消費するが、頭ごとのクエリキー間相互作用は構造的には構造的に低ランクである。
レイヤやアーキテクチャをまたいで、どのヘッドが実際のデータに対してフルランクの予算を実際に使っているのか、どちらがそうでないのか?
SVD-Attention, a post-hoc method that a decomposes the per-head interaction matrix $M_h$ and scores every singular mode by its spectrum magnitude and its activation variance across the tokens on a small calibration set。
スコアは、ヘッドが増幅できるモードを保持し、実際のデータが実際にアクティベートし、残りを破棄する。
7つの事前訓練されたモデルと5つのタスクタイプにまたがって、診断はタスク依存のパターンを見つけます。
フラグ付けするレイヤを1.75ドルF1で切り刻むのに対し、同じモデルで同じ数のレイヤを他の場所で切り刻むのに50ドルF1までかかる。
SVD-Attentionは、圧縮方法ではなく分析ツールである:それを利用すると、推論FLOPは、それ自体で$0.8$-$1.5\%$、ウェイトプルーニングで構成された場合$8$-$11\%$、タスク品質が$0$-$4\%$変更される。
関連論文リスト
- SSTQ:Privacy-Preserving Vector Quantization via Subsampled Stochastic TurboQuant [79.24089819400126]
Subsampled TurboQuant (SSTQ) は、オーバーコンプリートな等幅のタイトフレーム、座標サブサンプリング、プライバシ対応量子化を組み合わせたフレームワークである。
SSTQは平均2乗誤差スケーリングを実現し、クライアントあたり$lceil log N il + b$ bitsを使用する。
また、コードブックに依存したMSEスケーリングを$O(4b)$から$O(2b)$に削減する、プライバシを意識したコードブックの目的も導出します。
論文 参考訳（メタデータ） (2026-08-05T17:51:25Z) - The Intruder Threshold: A Spectral Law for LoRA Fine-Tuning [3.860898721527665]
LoRAファインチューニングは、破滅的な忘れを誘う侵入者次元を生み出すことができる。
観測されたスペクトルの層ごとに層が現れると予測される理論は存在しない。
完全な微調整は、すべてのレイヤのしきい値よりはるかに低いアップデートを分散させる。
Norm-matchedの介入は、更新の規模ではなく、しきい値の交差する層が忘れを伴っていることを確認します。
論文 参考訳（メタデータ） (2026-07-26T15:17:41Z) - Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate [0.0]
混合精度量子化は、モデルのどの部分がより高い精度を維持するかを決定する必要がある。
本研究は, 層単位での定量化による損失を, 層ごとの感性や, 対方向の感性から再現可能であることを示す。
本稿では, 測定値の差分プロファイルである$f(S)=cbigl (1-prod_iin S (1-a_i)bigr)$を, その$L$適合ブレークレートから数パーセント以内まで再現する。
論文 参考訳（メタデータ） (2026-07-14T02:08:33Z) - Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。
EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
論文 参考訳（メタデータ） (2026-05-28T09:45:47Z) - ChainzRule: Sample-Efficient, Robust Deep Learning Across Tabular, NLP, and Vision Tasks [0.0]
エンタープライズドメイン全体にわたるディープラーニングシステムは、学術ベンチマークが不明瞭な制約の下で運用される。
本稿では、典型的なアクティベーションを微分正規化(DREG)によって制御される学習可能な層に置き換えるニューラルネットワークChainzRule(CR)を提案する。
CRは、ピマ糖尿病で85.71% pm 2.01%$、凍結エンコーダでSST-5の感情分類で46.20% pm 0.37%$、パラメータが3.2Mの完全順序回帰で70.17%$を達成している。
論文 参考訳（メタデータ） (2026-05-23T01:52:50Z) - Nectar: Neural Estimation of Cached-Token Attention via Regression [36.709992864731866]
固定長コンテキスト上でのソフトマックスアテンションを評価するために,コンパクトニューラルネットワークをどのように利用できるかを示す。
Nectarは、層ごとに2つのネットワークに適合し、KVヘッドは、注意出力を予測するターゲットネットワークと、ログ正規化器を予測するスコアネットワークである。
我々は,5つの長文データセットにまたがる1.7Bから8Bパラメータのモデルについて実験を行った。
論文 参考訳（メタデータ） (2026-05-10T21:51:36Z) - Predicting LLM Compression Degradation from Spectral Statistics [2.76240219662896]
マトリックスレベルの低ランク圧縮は、大きな言語モデルのコストを削減するための有望な方法である。
この計算にコミットする前に圧縮誘起劣化を予測することができるか?
安定なランクと情報密度は,パラメータごとのビット数で測定され,性能劣化が支配的であることがわかった。
論文 参考訳（メタデータ） (2026-04-20T11:01:19Z) - LoRIF: Low-Rank Influence Functions for Scalable Training Data Attribution [62.830878652285406]
トレーニングデータ属性は、モデルの予測に最も影響したトレーニング例を特定する。
LoRIFは、両方のボトルネックに対処するために、勾配の低ランク構造を利用する。
数百万のサンプルでデータセットでトレーニングされた0.1Bから70Bパラメータのモデルで、LoRIFは最大20$timesのストレージ削減とクエリ時の高速化を実現している。
論文 参考訳（メタデータ） (2026-01-29T16:18:34Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳（メタデータ） (2025-05-19T07:32:56Z) - Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。
クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
論文 参考訳（メタデータ） (2024-09-09T18:10:26Z) - $O(n)$ Connections are Expressive Enough: Universal Approximability of
Sparse Transformers [71.31712741938837]
注意層ごとに$O(n)$接続しか持たないスパース変換器は、$n2$接続を持つ高密度モデルと同じ関数クラスを近似できることを示す。
また、標準NLPタスクにおいて、異なるパターン・レベルの違いを比較検討する。
論文 参考訳（メタデータ） (2020-06-08T18:30:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。