論文の概要: Delta Attention Residuals

• arxiv url: http://arxiv.org/abs/2605.18855v1
• Date: Wed, 13 May 2026 16:05:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.673508
• Title: Delta Attention Residuals
• Title（参考訳）: Delta Attention Residuals
• Authors: Cheng Luo, Zefan Cai, Junjie Hu,
• Abstract要約: 累積状態の代わりにデルタに付随するデルタ注意残差を提案する。 デルタ表現は構造的に多様であり、高いコントラストの注意分布をもたらす。 すべてのテストスケールにおいて、Delta Attention Residualsは、標準残差とAttention Residualsの両方を一貫して上回っている。
• 参考スコア（独自算出の注目度）: 18.056247839398512
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention Residuals replace standard additive residual connections with learned softmax attention over previous layer outputs, enabling selective cross-layer routing. However, standard Attention Residuals still attend over cumulative hidden states in previous layers, which are highly redundant. We show that this redundancy leads to routing collapse in deeper layers: attention weights become low-contrast and closer to uniform (max weight ${\approx}$0.2), limiting the model's ability to select informative states in previous layers. This raises a key but underexplored design question: what layer-wise representations should be routed in Attention Residuals? To answer this question, we propose Delta Attention Residuals, which attend over deltas -- the change introduced by each sublayer ($\mathbf{v}_i = \mathbf{h}_{i+1} - \mathbf{h}_i$) -- instead of cumulative states. Delta representations are structurally diverse and yield higher-contrast attention distributions (max weight ${\approx}$0.6), enabling more selective and effective routing across layers. This principle applies at both per-sublayer and block granularity. Across all tested scales (220M--7.6B), Delta Attention Residuals consistently outperform both standard residuals and Attention Residuals, with 1.7--8.2\% validation perplexity gains. Delta Attention Residuals also enables converting pretrained checkpoints into Delta Attention Residuals via standard fine-tuning. Code is available at https://github.com/wdlctc/delta-attention-residuals-code.
• Abstract（参考訳）: Attention Residualsは、従来のレイヤ出力に対して学習したソフトマックスアテンションで標準の加算残差接続を置き換えることで、選択的クロス層ルーティングを可能にする。 しかし、標準的なアテンション残余は以前のレイヤの累積的な隠蔽状態にまだ参加しており、非常に冗長である。 注意重みは低コントラストとなり、均一に近い(max weight ${\approx}$0.2)。 レイヤワイズ表現は、Attention Residualsでルーティングされるべきなのでしょうか? この質問に答えるために、デルタアテンション残差 (Delta Attention Residuals) を提案する。デルタアテンション残差 (Delta Attention Residuals) は、累積状態ではなく、各サブレイヤー (\mathbf{v}_i = \mathbf{h}_{i+1} - \mathbf{h}_i$) によって導入された変化である。 デルタ表現は構造的に多様であり、高いコントラストの注意分布(max weight ${\approx}$0.6)を得る。 この原理はサブ層ごとの粒度とブロックの粒度の両方に適用される。 すべての試験スケール(220M--7.6B)において、Delta Attention Residualsは標準残差とAttention Residualsの両方を一貫して上回り、1.7--8.2\%の検証パープレキシティゲインを持つ。 Delta Attention Residualsはまた、トレーニング済みのチェックポイントを標準の微調整を通じてDelta Attention Residualsに変換することもできる。 コードはhttps://github.com/wdlctc/delta-attention-residuals-codeで公開されている。

関連論文リスト

• Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences [51.38664601405696]
  我々はDeltaNet,GDN,KDAのプレコンディション付き変種を,効率的なチャンクワイズ並列アルゴリズムとともに導入する。 予備条件付きデルタルールの繰り返しは,340M,1Bスケールでの合成リコールベンチマークと言語モデリングにおいて一貫した性能向上をもたらす。
  論文  参考訳（メタデータ） (2026-04-22T21:38:25Z)
• Attention Residuals [38.59138244826294]
  PreNorm との残余接続は現代の LLM では標準的なものであるが、固定単位重み付きで全ての層出力を蓄積する。 本稿では,アテンション残余(AttnRes)を提案する。
  論文  参考訳（メタデータ） (2026-03-16T09:32:21Z)
• One Model, Many Budgets: Elastic Latent Interfaces for Diffusion Transformers [80.19461768457622]
  Elastic Latent Interface Transformer (ELIT) は、入力画像サイズを計算から切り離すための、ドロップインでDiT互換のメカニズムである。 読み取りと書き込み クロスアテンション・レイヤは空間トークンとラテントの間で情報を移動し、重要な入力領域を優先する。 ImageNet-1K 512pxでは、ELITの平均利得は35.3%、FIDおよびFDDスコアは39.6%である。
  論文  参考訳（メタデータ） (2026-03-12T17:57:04Z)
• Attention Projection Mixing with Exogenous Anchors [0.0]
  早期注意投影の層間再利用はデータの効率を向上させるが、構造的な衝突を引き起こす。 この衝突は、内部アンカー設計の隠れた制限であることを示す。 逐次レイヤスタックの外でアンカープロジェクションを学習することで競合を解決するExoFormerを提案する。
  論文  参考訳（メタデータ） (2026-01-13T01:52:19Z)
• On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
  大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。 まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。 本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
  論文  参考訳（メタデータ） (2025-06-11T01:25:06Z)
• Value Residual Learning [13.88704205151734]
  本稿では,ResFormerについて紹介する。ResFormerは値残差接続を組み込むことで情報フローを向上させるアーキテクチャである。 モデルパラメータが16.11%減少し、Transformerに比べてトレーニングデータが20.3%減少している。
  論文  参考訳（メタデータ） (2024-10-23T14:15:07Z)
• Gradient-based Weight Density Balancing for Robust Dynamic Sparse Training [59.48691524227352]
  スパースニューラルネットワークをゼロからトレーニングするには、接続自体と同時にコネクションを最適化する必要がある。 トレーニング中に各レイヤ間の接続は複数回最適化されるが、各レイヤの密度は通常一定である。 我々は、すべての層に重みを分散するテクニックであるGlobal Gradient-based Redistributionを提案する。
  論文  参考訳（メタデータ） (2022-10-25T13:32:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。