論文の概要: Does the LM Head Create a Harmful Gradient Bottleneck? A Causal Test

• arxiv url: http://arxiv.org/abs/2608.16671v1
• Date: Mon, 17 Aug 2026 14:59:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.759615
• Title: Does the LM Head Create a Harmful Gradient Bottleneck? A Causal Test
• Title（参考訳）: LMヘッドは、有害なグラディエントなボトルネックを作るか?
• Abstract要約: 言語モデルヘッドは、幅 D の隠れた状態をサイズ V の語彙にマッピングするので、その変換は、ほとんどの D 独立な方向から Transformer に戻すことができる。 Godey氏とArtzi氏は、この厳しい予測は有害な最適化ボトルネックであると主張している。 我々の後方のみの介入は、通常のロジットと正確なLMヘッドパラメータの更新を保持しながら、Transformerに送信される勾配のランクを下げます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The language-model head maps a hidden state of width D to a vocabulary of size V, so its transpose can return at most D independent directions to the Transformer. Godey and Artzi argue that this severe projection is a harmful optimization bottleneck. We separate the geometry from the causal claim. Our backward-only intervention keeps the ordinary logits and the exact LM-head parameter update while reducing only the rank of the gradient sent into the Transformer. Across five paired seeds on byte-level and BPE-8192 WikiText-2 models, reducing backward rank increases validation loss. An equally ranked factorized forward head, however, increases loss substantially more. At half rank in the larger model, the backward-only loss increase is 0.0586 (95% CI [0.0167, 0.1005]), while the factorized forward head increases loss by 0.1795 ([0.1547, 0.2042]). The vocabulary-space residual also contributes to the ordinary LM-head update, and removing that contribution is harmful. Additional controls show that repeated-token failures are confounded by the number of independently sampled symbols, that adding never-target output classes does not impair learning, and that projection diagnostics do not reliably predict progress in our runs. Tested auxiliary feedback routes do not beat tuned backpropagation. These results confirm strong geometric compression but do not establish that it is a harmful optimization bottleneck.
• Abstract（参考訳）: 言語モデルヘッドは、幅 D の隠れた状態をサイズ V の語彙にマッピングするので、その変換は、ほとんどの D の独立な方向から変換器に戻すことができる。 Godey氏とArtzi氏は、この厳しい予測は有害な最適化ボトルネックであると主張している。 我々は幾何学を因果的主張から分離する。 我々の後方のみの介入は、通常のロジットと正確なLMヘッドパラメータの更新を保持しながら、Transformerに送信される勾配のランクを下げます。 バイトレベルの5つのペアシードとBPE-8192 WikiText-2モデルで、下位ランクの低下により検証損失が増大した。 しかし、均等にランク付けされた前頭部は、損失を大幅に増加させる。 より大きいモデルでは、後方のみの損失増加は0.0586(95% CI [0.0167, 0.1005])、因子化された前方ヘッドは0.1795([0.1547, 0.2042])である。 語彙空間残基は通常のLMヘッド更新にも寄与し、その寄与は有害である。 追加の制御は、繰り返しの失敗は、独立したサンプリングされたシンボルの数によって構成され、目標とする出力クラスを追加しても学習が損なわれず、プロジェクション診断が我々の実行の進捗を確実に予測できないことを示している。 テストされた補助フィードバック経路は、調整されたバックプロパゲーションを打ち負かさない。 これらの結果は、強い幾何圧縮を証明しているが、それが有害な最適化ボトルネックであることを証明していない。

関連論文リスト

• What Makes an Efficient VLA? Navigating Action-Head Design, Scaling, and Latency [49.22866294900869]
  Vision-Language-Action (VLA)モデルは、事前訓練されたビジョンエンコーダ、言語バックボーン、アクションヘッドを組み合わせたモデルである。 バックボーンファミリ(SigLIP2とQwen2.5)とトレーニングパイプライン、アクションヘッド設計とモジュールスケールを修正し、各構成をデバイス上のレイテンシの測定値とペアリングする。
  論文  参考訳（メタデータ） (2026-09-12T14:55:15Z)
• Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
  我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。 報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。 textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
  論文  参考訳（メタデータ） (2026-08-06T14:55:42Z)
• An Isotropy-Preserving Spectral Cap for Muon: Theory and Three Case Studies [3.9617623336464636]
  ミューオンと関連する行列記号は、大規模言語モデルの事前訓練にますます使われている。 本報告では,単一理想化仮定に基づく統一フレームワークを提案する。 我々は,NanoGPTフィードフォワードプロジェクション,64-expertmix-of-expertsルータ,およびbf16 FlashAttentionブロックのクエリ/キープロジェクションの3つのシステムについて検討した。
  論文  参考訳（メタデータ） (2026-07-22T05:39:00Z)
• Learning Less Is More: Premature Upper-Layer Attention Specialization Hurts Language Model Pretraining [4.4820697228026845]
  因果デコーダブロックは階層的であり、下位層は上位層が関与する残基を構築する。 我々は,GPT事前訓練における障害モードを同定する:上層は,下層機能を安定化させる前に,鋭い注意パターンにコミットする。 早期訓練中に上層Q/Kプロジェクションのみを一時的に遅くすると、他のパラメータを変更することなく最終的なパープレキシティと下流の精度が向上する。
  論文  参考訳（メタデータ） (2026-05-11T13:01:12Z)
• Lost in Backpropagation: The LM Head is a Gradient Bottleneck [14.297816005348539]
  我々は、ソフトマックスのボトルネックは表現力のボトルネックであるだけでなく、最適化のボトルネックでもあることを示した。 ランク-$D$線形層による$V$次元勾配のバックプロパゲートは、避けられない圧縮を誘導する。 この固有の欠陥は、モデルアーキテクチャとは無関係に、大規模なトレーニングの非効率性に寄与する、と我々は主張する。
  論文  参考訳（メタデータ） (2026-03-10T18:27:01Z)
• Refined Risk Bounds for Unbounded Losses via Transductive Priors [67.12679195076387]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• Semi-Supervised Unconstrained Head Pose Estimation in the Wild [57.11798881492183]
  本研究では,最初の半教師なしヘッドポーズ推定手法であるSemiUHPEを提案する。 本手法は, 前回のランドマークに基づくアフィンアライメントよりも, 野生の頭部のアスペクト比不変収穫が優れているという観測に基づいている。 提案手法は, 汎用物体回転回帰法や3次元頭部再構成法など, その他の密接に関連する問題を解く上でも有用である。
  論文  参考訳（メタデータ） (2024-04-03T08:01:00Z)
• SVD-DIP: Overcoming the Overfitting Problem in DIP-based CT Reconstruction [2.104138432097827]
  我々は、学習を特異値の適応に制限する新しい戦略を採用することにより、事前訓練されたDIPの規則化された微調整に基づいて構築する。 ノイズへのオーバーフィットを克服することにより,DIP最適化の安定性が大幅に向上したことを報告した。
  論文  参考訳（メタデータ） (2023-03-28T06:08:32Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。