論文の概要: Attention Layers Add Into Low-Dimensional Residual Subspaces

• arxiv url: http://arxiv.org/abs/2508.16929v1
• Date: Sat, 23 Aug 2025 07:27:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.256732
• Title: Attention Layers Add Into Low-Dimensional Residual Subspaces
• Title（参考訳）: 低次元部分空間に注意層を付加する
• Authors: Junxuan Wang, Xuyang Ge, Wentao Shu, Zhengfu He, Xipeng Qiu,
• Abstract要約: トランスモデルは驚くほど低次元の部分空間に限定されていることを示す。 我々は,この低ランク構造が,スパース辞書学習における死特徴問題の根本原因であると考えている。
• 参考スコア（独自算出の注目度）: 46.25442191251545
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: While transformer models are widely believed to operate in high-dimensional hidden spaces, we show that attention outputs are confined to a surprisingly low-dimensional subspace, where about 60\% of the directions account for 99\% of the variance--a phenomenon that is induced by the attention output projection matrix and consistently observed across diverse model families and datasets. Critically, we find this low-rank structure as a fundamental cause of the prevalent dead feature problem in sparse dictionary learning, where it creates a mismatch between randomly initialized features and the intrinsic geometry of the activation space. Building on this insight, we propose a subspace-constrained training method for sparse autoencoders (SAEs), initializing feature directions into the active subspace of activations. Our approach reduces dead features from 87\% to below 1\% in Attention Output SAEs with 1M features, and can further extend to other sparse dictionary learning methods. Our findings provide both new insights into the geometry of attention and practical tools for improving sparse dictionary learning in large language models.
• Abstract（参考訳）: 変圧器モデルは高次元隠れ空間で動作していると広く信じられているが、注意出力は驚くほど低次元の部分空間に限られており、その方向の約60%が分散の99 %を占めており、これは注意出力予測行列によって誘導され、様々なモデルファミリーやデータセットで一貫して観察される現象である。 批判的に、この低ランク構造はスパース辞書学習における死特徴問題の根本原因であり、ランダムに初期化された特徴とアクティベーション空間の本質的な幾何学とのミスマッチを生成する。 この知見に基づいて,スパースオートエンコーダ(SAE)のサブスペース制約付きトレーニング手法を提案し,その特徴方向をアクティベーションのアクティブなサブスペースに初期化する。 提案手法は, 死者数を87 %から1 %以下に減らし, 余分な辞書学習にも拡張可能である。 本研究は,注目の幾何学に関する新たな知見と,大きな言語モデルにおけるスパース辞書学習を改善するための実践的ツールを提供する。

関連論文リスト

• Understanding In-context Learning of Addition via Activation Subspaces [74.8874431046062]
  そこで本研究では,入力に整数$k$を追加するという真の予測ルールを,数発の学習タスクのファミリーで検討する。 Llama-3-8Bは、このタスクにおいて、$k$の範囲で高い精度を達成し、わずか3つのアテンションヘッドに、その数ショットの能力をローカライズする。
  論文  参考訳（メタデータ） (2025-05-08T11:32:46Z)
• The Space Between: On Folding, Symmetries and Sampling [4.16445550760248]
  本稿では、ReLU活性化空間におけるハミング距離に基づく空間折り畳み測度を提案する。 一般化誤差が低い場合,空間の折り畳み値はネットワーク深さによって増加するが,誤差が大きくなると減少することを示す。 これらの知見に触発されて,ネットワークに高い折り畳み値の解を求める新たな正規化手法を概説した。
  論文  参考訳（メタデータ） (2025-03-11T14:54:25Z)
• Preventing Dimensional Collapse in Self-Supervised Learning via Orthogonality Regularization [9.823816643319448]
  自己教師付き学習(SSL)は近年急速に進歩し、教師付き学習のパフォーマンスに近づいている。 数個の大きな固有値が固有空間を支配する次元崩壊は、SSLにとって重要な障害となる。
  論文  参考訳（メタデータ） (2024-11-01T06:39:18Z)
• Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
  DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。 埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。 ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-03T13:44:20Z)
• Subspace-Guided Feature Reconstruction for Unsupervised Anomaly Localization [5.085309164633571]
  監督されていない異常なローカライゼーションは工業生産において重要な役割を担っている。 最近の手法では、事前訓練されたディープニューラルネットワークを用いて、ターゲットサンプルの特徴マッチングや再構成を行う。 本稿では,アノマライゼーションのための適応的特徴近似を追求する,新しいサブスペース誘導型特徴再構成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-25T06:58:57Z)
• Indirect-Instant Attention Optimization for Crowd Counting in Dense Scenes [3.8950254639440094]
  SoftMax-Attentionに基づく間接インスタントアテンション最適化(IIAO)モジュール。 特殊変換は比較的粗い特徴をもたらすが、本来は人口密度分布によって予測的誤認可能性が異なる。 局所相関損失 (RCLoss) を調整し, 連続的なエラーが発生しやすい領域とスムーズな空間情報を検索する。
  論文  参考訳（メタデータ） (2022-06-12T03:29:50Z)
• Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。 本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。 提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-10T16:45:22Z)
• Introducing Orthogonal Constraint in Structural Probes [0.2538209532048867]
  言語ベクトル空間の線形射影を同型空間回転と線形スケーリング方向に分解する。 提案手法がマルチタスク環境で実行可能であることを実験的に示す。
  論文  参考訳（メタデータ） (2020-12-30T17:14:25Z)
• Discrete Variational Attention Models for Language Generation [51.88612022940496]
  本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
  論文  参考訳（メタデータ） (2020-04-21T05:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。