Fugu-MT 論文翻訳(概要): Spectral Outliers Reveal Dominant Learned Structure in Transformer Attention

論文の概要: Spectral Outliers Reveal Dominant Learned Structure in Transformer Attention

arxiv url: http://arxiv.org/abs/2608.07921v1
Date: Sat, 08 Aug 2026 04:56:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-11 19:16:36.564042
Title: Spectral Outliers Reveal Dominant Learned Structure in Transformer Attention
Title（参考訳）: スペクトル外周波は変圧器注意における支配的構造を解明する
Abstract要約: 本稿では,各プロジェクション行列をランダムなバルクとスペクトル外れ値の集合に分離するために,事前学習した注意重みにランダム行列理論を適用した。ミストラル7BのMP識別外乱(符号)をゼロにすることで、HellaSwag, MMLU, PIQAをランダムな精度で駆動する。
参考スコア（独自算出の注目度）: 0.8971132850029493
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We apply Marchenko-Pastur (MP) random matrix theory to pre-trained attention weights in order to separate each projection matrix into a random-like bulk and a set of spectral outliers. We validate this decomposition causally: zeroing the MP-identified outliers (signal) in Mistral-7B drives HellaSwag, MMLU, and PIQA close to random-chance performance, whereas zeroing a count-matched subset of bulk singular values causes smaller but non-negligible degradation. Across 11 pre-trained transformers we identify five recurring patterns: spectral outliers encode a dominant component of the learned structure; Q projections carry the most outliers; V projections under grouped-query attention lack a clean signal/noise separation; entry-level outliers form structured row-bands in Q and column-bands in O; and specific residual-stream dimensions persist as band outliers across layers in K and O. We close by outlining how these observations could inform parameter-efficient fine-tuning and structured pruning.
Abstract（参考訳）: 本稿では,各プロジェクション行列をランダムなバルクとスペクトル外れ値の集合に分離するために,事前学習した注意重みにランダム行列理論を適用した。 Mistral-7B における MP-identified Outliers (signal) のゼロ化は、HellaSwag, MMLU, PIQA のランダム整合性に近いが、バルク特異値のカウント整合部分集合のゼロ化は、小さいが無視できない劣化を引き起こす。 11個の事前訓練された変換器で, 学習された構造の主成分を符号化したスペクトル外周波, グループ・クエリ・アテンションのV射影はクリーンな信号/ノイズ分離を欠き, エントリーレベル外周波はQおよびOの列バンドの構造的行バンドを形成し, 特定の残留ストリーム次元はKとOの層間のバンド外周として持続する。

関連論文リスト

Multi-kernel spectral clustering: Entrywise eigenvector perturbation bounds and exact recovery [5.506184984859199]
単一帯域幅のカーネルスペクトルクラスタリングは、複数の特性対距離スケールを示すデータには不十分である。我々は、異なる帯域幅のカーネルを集約するマルチカーネルの定式化によってこの問題に対処する。一般の高次元多スケール混合モデルに基づく厳密な理論解析法を開発した。
論文参考訳（メタデータ） (2026-08-09T13:34:27Z)
RamanPFN: learning from Raman spectral structure with a tabular foundation model [5.156304764307903]
ラマン分光法は、材料科学、バイオメディシン、プロセスモニタリングにまたがる非破壊的でラベルのない分子特性を可能にする。予測ラマンデータセットには、ラベル付きスペクトルがほとんどなく、数千の順序の波数が含まれていることが多い。本稿では、TabPFNの推論の前に依存関係を符号化するスペクトル表現フレームワークであるRamanPFNを提案する。
論文参考訳（メタデータ） (2026-08-03T12:37:55Z)
Relevant and Irrelevant: A Renormalization Group Analysis of Transformer Attention [16.36212521143563]
我々はトランスフォーマーの注意機構をトレーニング済み残差固定点の摂動として扱う。測定可能な予測は、固定点幾何、有効ランクプロファイル、層特異性、摂動減衰スペクトルに対して行われる。
論文参考訳（メタデータ） (2026-07-16T20:42:02Z)
Many Circuits, One Mechanism: Input Variation and Evaluation Granularity in Circuit Discovery [49.50794188352666]
回路間の構造的差異は、異なる機構の十分な証拠ではないことを示す。標準評価は、このパターンを曖昧にし、エッジレベル評価は、構造から機能への多対一マッピングを明らかにする。
論文参考訳（メタデータ） (2026-06-04T15:10:14Z)
Coverage Analysis of Rydberg Atom Quantum Receiver Arrays: A Stochastic Geometry Approach [55.47164192369501]
ライドバーグ原子量子受信機(RAQR)は、量子制限感度とブロードバンドチューナビリティを提供する。密集した展開において、集合的干渉は原子トランスデューサを小さな信号状態から外すことができる。本稿では、RAQRフロントエンドを幾何学的カバレッジ分析に埋め込むことで、この問題に対処する。
論文参考訳（メタデータ） (2026-05-22T04:05:13Z)
On the Spectral Flattening of Quantized Embeddings [25.64641307046705]
超低精度での大規模言語モデルの訓練は、離散量子化制約と言語データの本質的な重み付きスペクトル特性の相違に根ざした不安定性によって、決定的に阻害される。この研究は、LLMのスペクトル感度を定量化するだけでなく、安定な低ビット最適化に必要な条件としてスペクトル忠実性を確立する。
論文参考訳（メタデータ） (2026-02-01T02:21:53Z)
The Homogeneity Trap: Spectral Collapse in Doubly-Stochastic Deep Networks [1.7523718031184992]
構造保存深層構造に固有の臨界スペクトル劣化現象を同定する。最大エントロピーバイアスは混合作用素を均一なバリセンターへ誘導し、従属特異値を抑えることを示す。ネットワークの有効深度にリンクするスペクトル境界を導出し、高エントロピー制約が浅層受容場への特徴変換を制限することを示す。
論文参考訳（メタデータ） (2026-01-05T13:09:42Z)
Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文参考訳（メタデータ） (2025-09-26T23:40:47Z)
Avoided-crossings, degeneracies and Berry phases in the spectrum of quantum noise through analytic Bloch-Messiah decomposition [49.1574468325115]
解析的ブロッホ・メシア分解 (analytic Bloch-Messiah decomposition) は量子光学系の力学を特徴づけるためのアプローチを提供する。単一パラメータが変化した場合,回避された交差は自然に発生し,特異ベクトルの過敏性をもたらすことを示す。我々は,避けられた交差を意図的に設計することで,フォトニックシステムのスペクトル応答をプログラムできる可能性を強調した。
論文参考訳（メタデータ） (2025-04-29T13:14:15Z)
Three-fold way of entanglement dynamics in monitored quantum circuits [68.8204255655161]
ダイソンの3つの円形アンサンブル上に構築された量子回路における測定誘起エンタングルメント遷移について検討する。ゲートによる局所的絡み合い発生と測定による絡み合い低減との相互作用について考察した。
論文参考訳（メタデータ） (2022-01-28T17:21:15Z)
Sparse Quantized Spectral Clustering [85.77233010209368]
このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
論文参考訳（メタデータ） (2020-10-03T15:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。