論文の概要: Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels

• arxiv url: http://arxiv.org/abs/2610.13674v1
• Date: Fri, 09 Oct 2026 14:40:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.639973
• Title: Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels
• Title（参考訳）: すべての次元が等しくなるわけではない: グループ化された擬似カーネルによる外部認識の線形化
• Abstract要約: Outlier-Aware Attention Linearization (OAL) は2次注意近似を構築するための次元認識手法である。 注意近似と事前学習モデル変換の両方に対して,外乱認識次元のグルーピングの価値を示す。
• 参考スコア（独自算出の注目度）: 26.53747686499697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linearizing softmax attention offers a route to efficient Transformer inference, but preserving pretrained attention remains challenging. We identify an important source of approximation error overlooked by standard linearization methods: a small number of outlier dimensions contribute disproportionately to query-key dot products and account for a large fraction of the approximation error. Motivated by this heterogeneity, we propose Outlier-Aware Attention Linearization (OAL), a dimension-aware method for constructing quadratic attention approximations. Starting from a second-order Taylor approximation, we introduce a Hadamard-product formulation that makes individual query-key contributions explicit. This formulation relaxes globally shared coefficients to support dimension-specific linear terms and cross-dimensional quadratic interactions while preserving separable evaluation. To retain this flexibility with fewer parameters, OAL groups dimensions with similar contribution scales to share coefficients, while allowing distinct treatment of the few outliers. The resulting positive quadratic kernel is calibrated against pretrained attention outputs and admits linear-time evaluation with respect to sequence length for fixed head dimensions. On Qwen2.5-0.5B, OAL reduces frozen-attention output relative MSE by approximately 8.9% compared with DiJiang. Replacing middle-layer attention modules and jointly fine-tuning the kernel coefficients with LoRA further lowers WikiText-103 perplexity from 31.71 to 27.50 compared with a learned global quadratic, while improving accuracy on PIQA, HellaSwag, and ARC-E. These results demonstrate the value of outlier-aware dimension grouping for both attention approximation and pretrained-model conversion. The code is available at https://github.com/wuqianyue09/OAL
• Abstract（参考訳）: ソフトマックスアテンションの線形化は、効率的なトランスフォーマー推論へのルートを提供するが、事前訓練されたアテンションの保存は依然として困難である。 標準線形化法で見下ろされる近似誤差の重要な原因を同定する: クエリキードット製品に少数の外乱次元が不均等に寄与し、近似誤差のかなりの部分を占める。 この不均一性に動機づけられた2次注意近似を構築するための次元認識手法であるアウトリー・アウェア・アテンション・ライナライゼーション(OAL)を提案する。 2階テイラー近似から始まり、個々のクエリキーの寄与を明示するアダマール積の定式化を導入する。 この定式化はグローバルな共有係数を緩和し、分離可能な評価を維持しながら次元固有の線形項と二次元の二次相互作用をサポートする。 この柔軟性を少ないパラメータで維持するために、OALグループ次元は類似のコントリビューションスケールを持ち、係数を共有する。 得られた正の二次核は、予め訓練された注意出力に対して校正され、固定された頭部次元の配列長に対する線形時間評価を受ける。 Qwen2.5-0.5B では、OAL はDiJiang と比較して約8.9% 減少する。 中層アテンションモジュールのリプレースとLoRAによるカーネル係数の調整により、WikiText-103のパープレキシティは、学習されたグローバルな二次構造に比べて31.71から27.50に低下し、PIQA、HellaSwag、ARC-Eの精度が向上した。 これらの結果は,アテンション近似と事前学習モデル変換の両方において,外乱認識次元のグルーピングの価値を示す。 コードはhttps://github.com/wuqianyue09/OALで公開されている。

関連論文リスト

• A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training [86.64715217940274]
  外接線は正規化と共に機能する。 アウトリーチは、コントリビュータではなく、再スケール要因として役立ちます。 外乱は学習可能なパラメータに吸収されるか、明示的なゲート再スケーリングによって緩和される。
  論文  参考訳（メタデータ） (2026-01-30T13:29:45Z)
• Holdout cross-validation for large non-Gaussian covariance matrix estimation using Weingarten calculus [0.0]
  単列車のホールドアウト法で期待されるフロベニウス誤差を導出し,テスト分割を行う。 雑音ベクトルのユークリッドノルムの高次モーメントは、最適分割近傍のホールドアウト誤差曲線を鋭くする。
  論文  参考訳（メタデータ） (2025-09-17T11:34:15Z)
• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Vanishing Point Estimation in Uncalibrated Images with Prior Gravity Direction [82.72686460985297]
  我々はマンハッタンのフレームを推定する問題に取り組む。 2つの新しい2行解法が導出され、そのうちの1つは既存の解法に影響を与える特異点に悩まされない。 また、局所最適化の性能を高めるために、任意の行で実行される新しい最小でないメソッドを設計する。
  論文  参考訳（メタデータ） (2023-08-21T13:03:25Z)
• Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression [12.443289202402761]
  最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点を示す。 最適なバッチサイズを特徴付け、ノイズレベルに逆比例することを示す。 また,Weiner係数と同等の係数によるバッチ最小ノルム推定器の縮小がさらに安定化し,全ての設定において2次リスクを低くすることを示した。
  論文  参考訳（メタデータ） (2023-06-14T11:02:08Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Hybrid Trilinear and Bilinear Programming for Aligning Partially Overlapping Point Sets [85.71360365315128]
  多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。 まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。 次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-01-19T04:24:23Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。