論文の概要: WAV: Multi-Resolution Block Residual Routing for Deep Decoder-Only Transformers

• arxiv url: http://arxiv.org/abs/2606.06564v1
• Date: Thu, 04 Jun 2026 16:15:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.377463
• Title: WAV: Multi-Resolution Block Residual Routing for Deep Decoder-Only Transformers
• Title（参考訳）: WAV:ディープデコーダオンリートランスのためのマルチリゾリューションブロック残差ルーティング
• Authors: Kehan Wang,
• Abstract要約: WAV v1はデコーダのみのトランスフォーマーのための軽量な残差ルーティング手法である。 これは、Block AttnResに対する損失をTinyStoriesで0.4960から0.4738、Text8で0.9363から0.9305に削減する。
• 参考スコア（独自算出の注目度）: 1.2973070941583096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Residual connections are central to training deep Transformers, but standard PreNorm residual streams aggregate sublayer updates with fixed unit weights. Recent Attention Residuals replace this fixed accumulation with content-dependent depth-wise routing, and Block Attention Residuals make the mechanism efficient by routing over block-level residual summaries. However, a single block summary stores only the low-frequency total residual displacement inside a block, discarding directional structure such as attention-vs-MLP imbalance and early-vs-late block dynamics. We propose WAV v1, a lightweight multi-resolution residual routing method for decoder-only Transformers. Instead of representing each block only by its accumulated residual sum, WAV v1 augments every block with two directional detail bases: a phase basis that contrasts attention and MLP updates, and a split basis that contrasts early and late sublayer updates. These bases are routed together with standard block summaries through the same depth-wise softmax mixer, while negative detail-source initialization and detached RMS matching stabilize training. On character-level TinyStories and Text8 language modeling, WAV v1 shows a clear depth-dependent benefit. Although it is not consistently beneficial at 12 layers, it becomes competitive at 24 layers and outperforms all baselines at 48 layers. At 48 layers, WAV v1 reduces validation loss relative to Block AttnRes from 0.4960 to 0.4738 on TinyStories and from 0.9363 to 0.9305 on Text8, with negligible additional parameters. These results suggest that directional residual details, not only block-level sums, are important for scaling residual routing in deeper Transformers.
• Abstract（参考訳）: 残差接続はディープトランスフォーマーのトレーニングの中心であるが、標準のPreNorm残差ストリームは、固定単位重み付きサブレイヤ更新を集約する。 最近のアテンション残差は、この固定蓄積をコンテンツ依存のディープワイドルーティングに置き換え、ブロックアテンション残差は、ブロックレベルの残差サマリーをルーティングすることで、そのメカニズムを効率的にする。 しかし、単一ブロック要約はブロック内の低周波全残差のみを格納し、アテンションvs-MLP不均衡やアーリーvs-lateブロックダイナミクスのような方向構造を破棄する。 本稿では,デコーダのみのトランスに対して,軽量な多重解像度残差ルーティング手法WAV v1を提案する。 各ブロックは累積残余和のみで表現される代わりに、WAV v1は各ブロックを2つの方向のディテールベースで拡張する: 注意とMLP更新を対比するフェーズベース、そして、早期と後期のサブレイヤ更新を対比する分割ベースである。 これらのベースは、同じ深さのソフトマックスミキサーを介して標準ブロックサマリーと共にルーティングされ、負のディテールソース初期化と分離されたRMSが安定トレーニングに適合する。 文字レベルのTinyStoriesとText8言語モデリングでは、WAV v1は明確な深さ依存の利点を示している。 12層で一貫したメリットはないが、24層で競合し、48層ですべてのベースラインを上回っている。 48層では、WAV v1はBlock AttnResに対するバリデーション損失をTinyStoriesで0.4960から0.4738、Text8で0.9363から0.9305に削減する。 これらの結果から,より深い変換器における残差ルーティングのスケーリングには,ブロックレベルの和だけでなく,方向的残差の詳細が重要であることが示唆された。

関連論文リスト

• Replacement Learning: Training Neural Networks with Fewer Parameters [15.09968642484538]
  Replacement Learning (RepL) は、選択したブロックを置き換えることで、完全な冗長性を減らす訓練時間パラダイムである。 RepLは、不要なフルレイヤを避けながら、局所的なコンテキスト連続性を維持する。 RepLはトレーニング可能なパラメータ、GPUメモリ使用量、トレーニング時間を削減し、標準のエンドツーエンドトレーニングを適合または超過することを示す。
  論文  参考訳（メタデータ） (2026-05-19T08:34:31Z)
• Mean Mode Screaming: Mean--Variance Split Residuals for 1000-Layer Diffusion Transformers [0.2436681150766912]
  ネットワークは、トークン表現を均質化し、中心的変動を抑制するサイレントで平均支配的な崩壊状態に入ることができることを示す。 本稿では,個別に取得した残差更新とリークトランク平均更新を併用した平均変動分割(MV-Split)残差法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T12:53:45Z)
• Attention Residuals [38.59138244826294]
  PreNorm との残余接続は現代の LLM では標準的なものであるが、固定単位重み付きで全ての層出力を蓄積する。 本稿では,アテンション残余(AttnRes)を提案する。
  論文  参考訳（メタデータ） (2026-03-16T09:32:21Z)
• SVG-EAR: Parameter-Free Linear Compensation for Sparse Video Generation via Error-aware Routing [77.91660464664615]
  Diffusion Transformers (DiTs) はビデオ生成において主要なバックボーンとなっているが、その二次的注意コストは依然として大きなボトルネックとなっている。 本稿では,不足しているコントリビューションをトレーニングなしで回収できることを示す。 パラメータフリーな線形補償分岐であるSVG-EARを導入する。
  論文  参考訳（メタデータ） (2026-03-09T22:15:31Z)
• From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs [58.640039233470766]
  原理的AR-to-block-diffusion適応は,DLMをスクラッチからトレーニングする上で,有効かつ効率的な代替手段であることを示す。 NBDiff-7B(BaseとInstruct)は、長文のモデリングと推論機能を継承し、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-12-07T10:28:21Z)
• Arithmetic-Mean $μ$P for Modern Architectures: A Unified Learning-Rate Scale for CNNs and ResNets [9.94514344279733]
  Arithmetic-Mean $mu$P は個々の層ではなく、ネットワーク全体の平均1ステップのプレアクティベーション第2モーメントを一定スケールに制限する。 1次元および2次元の畳み込みネットワークの場合、最大更新学習率は$etastar(L)propto L-3/2$; を満足する。
  論文  参考訳（メタデータ） (2025-10-05T19:22:50Z)
• The Sharpness Disparity Principle in Transformers for Accelerating Language Model Pre-Training [51.84624027213658]
  本稿では、各ブロックのシャープネスに合わせてLRを調整する戦略であるブロックワイズ学習率(LR)を提案する。 モデルサイズは0.12Bから2Bの範囲である。 最近提案されたメモリ効率のAdam-miniにBlockwise LRを組み込むことで、2倍のスピードアップと2倍のメモリ節約を実現しています。
  論文  参考訳（メタデータ） (2025-02-26T10:06:37Z)
• Re^2TAL: Rewiring Pretrained Video Backbones for Reversible Temporal Action Localization [65.33914980022303]
  時間的行動ローカライゼーション(TAL)は、様々な期間と複雑な内容の行動を予測するために、長期的推論を必要とする。 ほとんどのメソッドは、ローカライズ問題に最適化することなく、事前抽出された機能のみをトレーニングできる。 本稿では,既存のビデオバックボーンを可逆性talにリワイヤリングする,新しいエンドツーエンド手法Re2TALを提案する。
  論文  参考訳（メタデータ） (2022-11-25T12:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。