論文の概要: Hierarchical Residuals: A Minimalist Decoupling of Residual Width from Compute Width
- arxiv url: http://arxiv.org/abs/2610.41711v1
- Date: Fri, 30 Oct 2026 13:18:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.754788
- Title: Hierarchical Residuals: A Minimalist Decoupling of Residual Width from Compute Width
- Title（参考訳）: 階層的残差:計算幅から残差を分離するミニマリスト
- Abstract要約: 残差接続はトランスフォーマーを基盤とするが、各層の内部で使用される計算幅に、深さを通した残差幅を暗黙的に結び付ける。
階層的残留(HiRes)は、これらの次元を分離する最小限のアーキテクチャ変更である。
標準のd-D PreNorm層は各ブロック内で動作し、より広いD-D PostNormはブロックを接続する。
- 参考スコア（独自算出の注目度）: 41.600907129358355
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Residual connections underpin Transformers, but they implicitly tie the residual width carried through depth to the compute width used inside each layer. We introduce Hierarchical Residuals (HiRes), a minimalist architectural change that decouples these dimensions, widening the residual state while keeping per-layer compute width fixed. HiRes groups layers into blocks: standard d-dimensional PreNorm layers operate inside each block, while a wider D-dimensional PostNorm outer residual connects blocks. Learned read/write projections bridge the two spaces at block boundaries, leaving individual Transformer layers unchanged. Across different model sizes and depths, HiRes consistently outperforms vanilla residual addition, with fitted scaling laws indicating a 1.30-fold improvement in FLOPs efficiency. On OLMoE-1B-7B pretraining for 500B tokens, HiRes achieves 0.0208 lower training loss and 1.14-point higher downstream accuracy. HiRes is also competitive with other residual expansion methods such as VWN, mHC and AttnRes with less activation memory and I/O costs. Built from only dense projections and normalizations, it requires neither specialized kernels nor infrastructure-level optimizations. HiRes thus exposes residual width as a practical scaling variable using only standard operators.
- Abstract（参考訳）: 残差接続はトランスフォーマーを基盤とするが、各層の内部で使用される計算幅に、深さを通した残差幅を暗黙的に結び付ける。
階層的残差(HiRes)は,これらの次元を分離し,層間計算幅を固定しながら残差を拡大する最小限のアーキテクチャ変化である。
標準のd-D PreNorm層は各ブロック内で動作し、より広いD-D PostNormはブロックを接続する。
学習された読み取り/書き込みプロジェクションは2つのスペースをブロック境界でブリッジし、個々のトランスフォーマー層は変わらない。
モデルサイズと深さの異なるHiResは、FLOPs効率が1.30倍改善したことを示すスケーリング法則を適合させて、バニラ残留量より一貫して優れている。
500Bトークンに対するOLMoE-1B-7B事前トレーニングでは、HiResは0.0208のトレーニング損失と1.14ポイントの下流精度を達成する。
HiResは、VWN、mHC、AttnResのような他の残留拡張手法と競合し、アクティベーションメモリとI/Oコストは少ない。
厳密なプロジェクションと正規化のみから構築され、特別なカーネルもインフラストラクチャレベルの最適化も必要としない。
したがって、HiResは標準演算子のみを使用して、実用的なスケーリング変数として残幅を公開する。
関連論文リスト
- Learning Rate Transfer for Hybrid Transformer-SSM Architectures [10.128323645819654]
本研究では,TransformerとState-Space Model(SSM)ブロックを組み合わせたハイブリッドアーキテクチャの学習率スケーリングについて検討する。
驚くべきことに、この実用的なハイブリッドアーキテクチャでは、256-2048の幅と4-32の深さにほぼゼロのLR転送ギャップが達成される。
論文 参考訳（メタデータ） (2026-10-01T06:46:03Z) - Learning Functional Subspaces for Neural Network Compression [79.78451551969097]
Learnable Subspace Projections (LSP) は、エンドツーエンドを捨てるためにサブスペースを学習する。
LSPは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードする。
論文 参考訳（メタデータ） (2026-09-30T16:47:35Z) - Variable-Width Transformers [57.07167443557886]
本稿では,$times$-shaped > former architectureを提案する。
我々の設計は、パラメータフリーの残留リサイズ機構を利用して、中間層を狭めながら、より広い早期層と後期層を維持している。
平均的な層幅を減らすことで、このアーキテクチャは全体のFLOPを少なくし、KVキャッシュメモリを小さくし、I/Oコストを削減できる。
論文 参考訳（メタデータ） (2026-06-16T17:59:03Z) - DeRes: Decoupling Residual Stability and Adaptivity for Scalable CTR Prediction [0.343054185715673]
トランスフォーマーベースのCTRモデルは、残差接続におけるボトルネックの増大に直面している。
最近の注意に基づく残差変種(AttnRes)は、言語モデルにおけるこの部分に対応する。
本稿では,各層を2つの並列経路にルートするDeReについて述べる。
論文 参考訳（メタデータ） (2026-06-06T05:07:16Z) - WAV: Multi-Resolution Block Residual Routing for Deep Decoder-Only Transformers [1.2973070941583096]
WAV v1はデコーダのみのトランスフォーマーのための軽量な残差ルーティング手法である。
これは、Block AttnResに対する損失をTinyStoriesで0.4960から0.4738、Text8で0.9363から0.9305に削減する。
論文 参考訳（メタデータ） (2026-06-04T16:15:27Z) - Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。
2次元空間伝搬伝搬に基づくC-GSPNを提案する。
論文 参考訳（メタデータ） (2026-05-30T14:29:43Z) - Attention Residuals [38.59138244826294]
PreNorm との残余接続は現代の LLM では標準的なものであるが、固定単位重み付きで全ての層出力を蓄積する。
本稿では,アテンション残余(AttnRes)を提案する。
論文 参考訳（メタデータ） (2026-03-16T09:32:21Z) - GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。
GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
論文 参考訳（メタデータ） (2025-11-28T07:26:45Z) - Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。
MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。
乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
論文 参考訳（メタデータ） (2023-09-29T20:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。