論文の概要: Linear Algebra Foundations of Efficient Attention: A Phase Reversal in Rank Collapse Under SVD Compression
- arxiv url: http://arxiv.org/abs/2609.06341v1
- Date: Sun, 06 Sep 2026 02:27:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.228637
- Title: Linear Algebra Foundations of Efficient Attention: A Phase Reversal in Rank Collapse Under SVD Compression
- Title（参考訳）: 効率的な注意の線形代数の基礎:SVD圧縮下でのランク崩壊の相反
- Abstract要約: 線形代数は、現代の人工知能がニューラルネットワークを通じて情報をエンコードし、圧縮し、伝達するために使用する概念の枠組みを提供する。
本稿では、トランスフォーマーに基づく基礎モデル研究の文脈において、これらの技術の使用法を分析する14の別個の研究をまとめる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Linear algebra provides the framework of concepts (matrix rank, singular value decomposition (SVD), and eigendecomposition) that modern artificial intelligence employs to encode, compress, and propagate information through neural networks. This paper unifies fourteen separate peer-reviewed works analyzing the usage of these techniques in the context of transformer-based foundation model research, focusing on three areas of the topic: derivations and properties of self-attention matrices' output rank, compression methods that purposefully utilize this phenomenon, and the low-rank key-value (KV) cache projection and its semiseparable-matrix duality to linear attention and state-space structured models. We were motivated to conduct this work after observing an open problem in this literature: the interplay of the mentioned compression methods with natural rank collapse of the network. With this paper, we report an original finding that using SVD compression of attention projections actually has the opposite effect on the rank collapse of the network: while it strongly suppresses it at initialization, it accelerates on pretrained models (for GPT-2 124M, GPT-2 Medium 355M, and Pythia-160M) with minimal risk of object aliasing artifacts appearing (verified on all compression ratios) and is consistent across four rank estimation methods. A controlled causal decomposition of the effect in both settings showed that the reason for this behavior can be explained by the choice of the subspace SVD makes when compressing the matrix better than the reduction of the operator norm it achieves, explaining roughly 76% of the effect at initialization and 83% on the pretrained weights, providing a refinement to the calibration-aware compression viewpoint and an explanation of why it outperformed naive SVD truncation.
- Abstract（参考訳）: 線形代数は、現代の人工知能がニューラルネットワークを通じて情報をエンコード、圧縮、伝播するために使っている概念(行列ランク、特異値分解(SVD)、固有分解)の枠組みを提供する。
本稿では,この現象を意図的に活用する圧縮手法,低ランク鍵値(KV)キャッシュプロジェクション,および線形注意と状態空間構造モデルに対する半分離可能な二重性,という3つの領域に着目し,トランスフォーマーに基づく基礎モデル研究の文脈におけるこれらの手法の利用を分析する14の別個のピアレビューをまとめる。
本論文では,ネットワークの自然崩壊を伴う圧縮手法の相互運用について,オープンな問題を観察した上で,本研究を動機づけた。
本報告では,SVD圧縮を用いた注意投影は,ネットワークのランク崩壊に対して逆効果を示し,初期化時に強く抑制するが,事前訓練されたモデル(GPT-2 124M, GPT-2 Medium 355M, Pythia-160M)では,オブジェクトエイリアシングアーティファクトが出現するリスクが最小限に抑えられ,かつ4つのランク推定法で一致している。
両設定における効果の因果分解の制御により, SVD が達成した演算子ノルムの低減よりも行列を圧縮する場合に, 行列を圧縮した場合に生じる部分空間の選択により, この挙動の理由を説明できることが明らかとなり, 初期化時の効果の約76%と事前学習重量に対する 83% が説明され, 校正・認識圧縮の観点を洗練させ, SVD のタンニン化を優れていた理由が説明された。
関連論文リスト
- Compressing What Matters: Neuron Importance Meets Data-Aware Low Rank Approximation for Language Model Compression [39.47298454012977]
本稿では,動的圧縮率割当のための拡張的で効率的なアルゴリズムを提案する。
実験結果は,従来の最先端技術よりも同等あるいは実質的に優れている提案手法の有効性を裏付けるものである。
論文 参考訳（メタデータ） (2026-06-30T09:16:00Z) - CSGaussian: Progressive Rate-Distortion Compression and Segmentation for 3D Gaussian Splatting [57.73006852239138]
本稿では,3次元ガウススプラッティングの速度歪み最適化圧縮とセグメンテーションのための最初の統一フレームワークを提案する(3DGS)。
速度歪みに最適化された3DGS圧縮の最近の進歩に触発されたこの研究は、セマンティックラーニングを圧縮パイプラインに統合し、デコーダ側アプリケーションをサポートする。
提案方式は暗黙的ニューラル表現に基づくハイパープライアを特徴とし,色属性と意味属性の両方の効率的なエントロピー符号化を実現する。
論文 参考訳（メタデータ） (2026-01-19T08:21:45Z) - Concatenated Matrix SVD: Compression Bounds, Incremental Approximation, and Error-Constrained Clustering [0.0]
予測された共同SVD圧縮誤差がユーザ指定しきい値以下である場合にのみ、行列をマージする3つのクラスタリングアルゴリズムを提案する。
アルゴリズムは、スピード、証明可能な精度、スケーラビリティのトレードオフにまたがっており、明示的なエラー制御を備えた圧縮対応クラスタリングを可能にしている。
論文 参考訳（メタデータ） (2026-01-12T18:15:53Z) - Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。
KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
論文 参考訳（メタデータ） (2025-10-23T07:12:26Z) - Compression Hacking: A Supplementary Perspective on Informatics Properties of Language Models from Geometric Distortion [56.12939353271623]
幾何学的観点から、高度に圧縮されたLMのワード表現空間は、非常に異方性のある状態に縮退する傾向がある。
この同期性は基本的にLM表現におけるCompression Hacking''である。
幾何学的歪み解析を取り入れ, 自己評価パイプラインに統合することにより, 高精度な3つの圧縮指標を提案する。
論文 参考訳（メタデータ） (2025-05-23T12:11:03Z) - Preventing Dimensional Collapse in Self-Supervised Learning via Orthogonality Regularization [9.823816643319448]
自己教師付き学習(SSL)は近年急速に進歩し、教師付き学習のパフォーマンスに近づいている。
数個の大きな固有値が固有空間を支配する次元崩壊は、SSLにとって重要な障害となる。
論文 参考訳（メタデータ） (2024-11-01T06:39:18Z) - Efficient Compression of Overparameterized Deep Models through
Low-Dimensional Learning Dynamics [10.673414267895355]
本稿ではパラメータ化モデルを用いた新しい圧縮手法を提案する。
本アルゴリズムは, 一般化を損なうことなく, トレーニング効率を2倍以上に向上させる。
論文 参考訳（メタデータ） (2023-11-08T23:57:03Z) - Low-Rank Prune-And-Factorize for Language Model Compression [18.088550230146247]
マトリックスの分解は、中程度から高い圧縮速度で良好な性能を維持することができない。
スパシティ対応SVDとミックスランクファインチューニングの2つの手法を提案する。
論文 参考訳（メタデータ） (2023-06-25T07:38:43Z) - Fundamental Limits of Two-layer Autoencoders, and Achieving Them with
Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。
本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。
符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文 参考訳（メタデータ） (2022-12-27T12:37:34Z) - Orthogonal Matrix Retrieval with Spatial Consensus for 3D Unknown-View
Tomography [58.60249163402822]
未知視トモグラフィ(UVT)は、未知のランダムな向きで2次元投影から3次元密度マップを再構成する。
提案したOMRはより堅牢で、従来の最先端のOMRアプローチよりも大幅に性能が向上している。
論文 参考訳（メタデータ） (2022-07-06T21:40:59Z) - Language model compression with weighted low-rank factorization [73.61874728240568]
本稿では,モデル予測に影響を及ぼすパラメータの重要性を評価するために,フィッシャー情報を紹介する。
結果のタスク精度は、元のモデルの性能にかなり近いことがわかった。
提案手法は,タスク固有のモデルを直接圧縮し,他のコンパクトモデル戦略よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-06-30T21:57:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。