論文の概要: CascadeFormer: Depth-Tapered Transformers Motivated by Gradient Fan-in Asymmetry
- arxiv url: http://arxiv.org/abs/2606.26538v1
- Date: Thu, 25 Jun 2026 02:25:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.146159
- Title: CascadeFormer: Depth-Tapered Transformers Motivated by Gradient Fan-in Asymmetry
- Title（参考訳）: CascadeFormer: 勾配ファンイン非対称性により動機付けられた深さテーパー変換器
- Abstract要約: ディープトランスフォーマーは、一様に積み重ねられた残余ブロックで構成されているが、最も深いレイヤは、ほとんど価値を与えない。
この非対称性を利用する2つの効率方法を提案する。
CascadeFormerは、レイヤー間の不均一な情報フローに一致する深さで幅をテーパーし、同じトレーニング予算で均一なベースラインに匹敵する難易度を実現し、レイテンシを8.6%削減し、スループットを9.4%向上させた。
- 参考スコア（独自算出の注目度）: 34.36337082439934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Transformers are composed of uniformly stacked residual blocks, yet their deepest layers often add little value. We present two efficiency methods that exploit this asymmetry. CascadeFormer tapers width with depth to match the uneven information flow across layers, achieving comparable perplexity to a uniform baseline at the same training budget while reducing latency by 8.6% and increasing throughput by 9.4%. CascadeFlow Pruning removes layers using accumulated training gradients, with no post hoc analysis. It outperforms standard heuristics on perplexity and rank-stability and stays competitive on downstream accuracy. To motivate these methods, we propose Gradient Fan-in Asymmetry (GFA) as a structural account of why deeper layers contribute less. In Pre-LayerNorm residual stacks, the gradient at a layer is the sum of an identity path and all downstream functional paths, producing a gradient fan-in that decays linearly with depth (and quadratically under deep supervision), yielding richer gradients for early layers and sparser ones for later layers. We provide correlational and interventional evidence for GFA on models trained from scratch up to 1.2B parameters. Across Transformers and ResNets, accumulated training gradients follow the theoretical fan-in and are associated with post hoc layer importance. Two interventions point to structure rather than magnitude as the bottleneck: equalizing per-layer gradient norms does not restore late-layer value, while increasing downstream path counts via parameter-shared repetition restores and elevates it. Whether gradient magnitude proxies fan-in beyond high-rank regimes, and how these dynamics behave at the 100B+ scale, remain open questions.
- Abstract（参考訳）: ディープトランスフォーマーは、一様に積み重ねられた残余ブロックで構成されているが、最も深いレイヤは、しばしばほとんど価値を与えない。
この非対称性を利用する2つの効率方法を提案する。
CascadeFormerは、レイヤー間の不均一な情報フローに一致する深さで幅をテーパーし、同じトレーニング予算で均一なベースラインに匹敵する難易度を実現し、レイテンシを8.6%削減し、スループットを9.4%向上させた。
CascadeFlow Pruningは、蓄積したトレーニング勾配を使用してレイヤを削除する。
パープレキシティとランク安定性の標準的なヒューリスティックよりも優れており、下流の精度で競争力を維持している。
これらの手法を動機づけるために,より深い層がなぜ寄与しないのかという構造的考察として,GFA(Gradient Fan-in Asymmetric)を提案する。
Pre-LayerNorm の残差スタックでは、層の勾配はアイデンティティパスと下流のすべての機能パスの和であり、深さとともに直線的に崩壊する勾配ファンイン(そして深い監督の下で2次的に崩壊)を生成し、初期層の勾配と後層のスペーサー勾配がよりリッチになる。
我々は,最大1.2Bパラメータのスクラッチからトレーニングしたモデルに対して,GFAの相関的および介入的証拠を提供する。
TransformersとResNetsをまたいで、蓄積されたトレーニング勾配は理論的なファンインに従っており、ポストホック層の重要性と関連している。
階層ごとの勾配ノルムの等化は、遅延層値の復元を行なわず、パラメータ共有反復による下流経路のカウントを増大させ、増大させる。
勾配級数プロキシは、上位のレギュレーションを超えてファンインであり、これらのダイナミクスが100B以上のスケールでどのように振る舞うかは、未解決の問題のままである。
関連論文リスト
- Layerwise Progressive Freezing: A Training Scaffold for Depth-Scalable Binary Networks [1.1516147824168732]
スクラッチからのバイナリニューラルネットワーク(BNN)のトレーニングは、ストレートスルー推定器(STE)が支配している
我々はStoMPPを導入し、クリップされた重みとアクティベーションを、入力から出力までの層ごとにハードバイナリの層に徐々に置き換える。
スタンドアロンのトレーニングルールとして、完全なSTEフリープロシージャを提供し、バニラSTEよりも深く成長するゲインを改善している。
論文 参考訳（メタデータ） (2026-06-26T06:37:57Z) - SURGE: Surrogate Gradient Adaptation in Binary Neural Networks [41.424349870612716]
SURGE(SURrogate GradiEnt Adaptation)は,理論的な基礎を持つ学習可能な勾配補償フレームワークである。
SURGEは補助的なバックプロパゲーションを通じて勾配ミスマッチを緩和する。
画像分類、オブジェクト検出、言語理解タスクの実験は、SURGEが最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2026-05-09T09:52:38Z) - Gradient-Based LoRA Rank Allocation Under GRPO: An Empirical Study [0.0]
強化学習におけるLoRA転送の適応的ランク割り当てについて検討する。
比例的ランクアロケーションは、均一なアロケーションに比べて4.5ポイントの精度を低下させる。
この失敗の背後にある2つのメカニズムを特定します。
論文 参考訳（メタデータ） (2026-05-08T07:22:38Z) - AEGIS: Anchor-Enforced Gradient Isolation for Knowledge-Preserving Vision-Language-Action Fine-Tuning [0.0]
ロボット制御に事前訓練された視覚言語モデル(VLM)を適用するには、フローマッチングアクションエキスパートから高次連続勾配を、クロスエントロピーに特化して訓練されたバックボーンに注入する必要がある。
このクロスモーダル勾配非対称性は、VLMの視覚的問合せ能力(VQA)の急激で激しい侵食を引き起こす。
産業標準防衛は、勾配経路を完全に停止勾配で切断し、豊かな継続的監督を放棄するか、または、更新のランクを制約するローランクアダプタ(LoRA)を通してパラメータ容量を制限するか、したがって、訓練済み多様体を上書きする。
論文 参考訳（メタデータ） (2026-04-17T13:49:57Z) - GradPruner: Gradient-Guided Layer Pruning Enabling Efficient Fine-Tuning and Inference for LLMs [10.61152477422108]
GradPrunerは、微調整の初期段階において、勾配によってガイドされる大規模言語モデルのレイヤをプルークすることができる。
結果、GradPrunerはパラメータを40%削減し、精度は0.99%しか低下していないことがわかった。
論文 参考訳（メタデータ） (2026-01-27T11:41:26Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - How to guess a gradient [68.98681202222664]
我々は、勾配が以前考えられていたよりもより構造化されていることを示す。
この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。
厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
論文 参考訳（メタデータ） (2023-12-07T21:40:44Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - On Training Implicit Models [75.20173180996501]
ファントム勾配(ファントム勾配)と呼ばれる暗黙モデルに対する新しい勾配推定法を提案し、正確な勾配の計算コストを抑える。
大規模タスクの実験では、これらの軽量ファントム勾配が暗黙の訓練モデルの後方通過を約1.7倍加速することを示した。
論文 参考訳（メタデータ） (2021-11-09T14:40:24Z) - The Break-Even Point on Optimization Trajectories of Deep Neural
Networks [64.7563588124004]
この軌道上の「破滅的な」点の存在を論じる。
トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。
また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
論文 参考訳（メタデータ） (2020-02-21T22:55:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。