論文の概要: Near-Zero Token Embeddings Silently Stall Training in Gated Sequence Models

• arxiv url: http://arxiv.org/abs/2611.04449v1
• Date: Tue, 03 Nov 2026 07:39:19 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:24:53.480919
• Title: Near-Zero Token Embeddings Silently Stall Training in Gated Sequence Models
• Title（参考訳）: ゲーテッドシーケンスモデルにおける静注学習を施したニアゼロトケン
• Abstract要約: ゲートシーケンスモデル(Mamba, Gated DeltaNet, xLSTM)では、ニアゼロトークンは入力埋め込み勾配を30桁以上(最大35倍)増幅することができる。 GroupClipは、64ビットまたは再スケールされた標準を使用して入力-埋め込みクリッピングを分離する。 事前訓練のために、GateFloorはゲートをゼロ入力で正に保ち、実験で最大370Mパラメータまで、ほぼゼロの勾配を28桁まで減らした。
• 参考スコア（独自算出の注目度）: 8.073614400671765
• License:
• Abstract: Among 291 surveyed open-weight language model repositories (280 distinct embedding tables), 52.6% of untied gated and hybrid checkpoints (20/38) contain reachable input embeddings with norms below $10^{-6}$, compared with 0% of weight-tied models. Such near-zero rows can arise during pretraining when unseen rare or template tokens receive zero input gradients while AdamW weight decay shrinks untied embeddings. In tested Transformer configurations, non-initial positions or a BOS token prevent this failure mode. In gated sequence models (Mamba, Gated DeltaNet, xLSTM), a near-zero token can amplify input-embedding gradients by more than 30 orders of magnitude (up to 35). At zero input, current-token readout factors (SiLU gates or linear queries) vanish, suppressing historical-state readout. Residual RMS values can then fall below the square root of the RMSNorm floor across consecutive layers, causing Pre-RMSNorm to amplify backward gradients by up to $10^3$ per layer. When a gradient entry exceeds $1.84 \times 10^{19}$, FP32 global-norm clipping in PyTorch, Hugging Face Trainer, and FSDP2 can overflow to infinity and zero the current batch's gradients. In Telugu continual pretraining of Nemotron-3-Nano-4B, this discards updates on approximately 20% of steps and leaves triggered rows frozen. We propose two remedies. For released checkpoints, GroupClip decouples input-embedding clipping using a 64-bit or rescaled norm; its rescaled implementation eliminates update loss and heals triggered rows in one step with negligible measured end-to-end overhead. For pretraining, GateFloor ($\mathrm{SiLU}(z) + δ$, $δ\in [0.01, 0.1]$) keeps the gate positive at zero input, reducing near-zero gradients by 28 orders of magnitude in experiments up to 370M parameters, with perplexity comparable to the baseline.
• Abstract（参考訳）: 291 のオープンウェイト言語モデルリポジトリ (280 の異なる埋め込みテーブル) の中で、52.6% の未処理ゲートとハイブリッドチェックポイント (20/38) は、0% の重み付きモデルと比較して 10^{-6}$ 以下のノルムで到達可能な入力埋め込みを含んでいる。 このような近ゼロ行は、目に見えないレアトークンやテンプレートトークンが入力勾配をゼロにすると事前訓練中に生じ、一方AdamWの重みの減衰は未処理の埋め込みを縮小する。 テスト済みのTransformer設定では、初期でない位置やBOSトークンがこの障害モードを防ぐ。 ゲートシーケンスモデル(Mamba, Gated DeltaNet, xLSTM)では、ニアゼロトークンは入力埋め込み勾配を30桁以上(最大35桁)増幅することができる。 入力がゼロになると、現在の読み出し因子(SiLUゲートまたは線形クエリ)が消滅し、履歴状態の読み出しが抑制される。 残留RMS値は連続した層にまたがってRMSNorm床の平方根より下降し、Pre-RMSNormは1層あたり10^3$まで後方勾配を増幅する。 勾配エントリが1.84 \times 10^{19}$を超えると、PyTorch、Hugging Face Trainer、FSDP2でのFP32グローバルノームクリッピングは無限大にオーバーフローし、現在のバッチの勾配をゼロにする。 テルグ語によるNemotron-3-Nano-4Bの継続事前訓練では、約20%のステップと葉の更新が凍結された。 我々は2つの治療法を提案する。 リリースされたチェックポイントでは、GroupClipは64ビットまたは再スケールされた標準を使用して入力-埋め込みクリッピングを分離する。 事前トレーニングのために、GateFloor$\mathrm{SiLU}(z) + δ$, $δ\in [0.01, 0.1]$) はゲートをゼロ入力で保ち、実験では370万のパラメータを最大28桁まで減少させる。

関連論文リスト

• Zero-Gated Cross-Attention [0.0]
  Inductively Gated Cross-Attention (IGCA) は、事前訓練されたモデル動作を保存するゼロdクロスアテンションブリッジである。 フリーズされたFalcon-40B、open_llama_30b、Bloom-7b1の6つのデコーダ層で統合された。 ホールドアウト評価では、最良ゲートオンチェックポイントは、ゲートオフベースラインの4.3469に対して2.2201の損失を達成する。
  論文  参考訳（メタデータ） (2026-10-31T17:03:01Z)
• Rare Gate Disagreements Can Limit Plasticity: When Gradient Flow Mispredicts Finite-Batch SGD [18.94199732493573]
  人口勾配の流れは、ニューラルネットワークがどのように適応するかを推論するための一般的なツールである。 有限バッチ勾配勾配を誤予測できることが示される。
  論文  参考訳（メタデータ） (2026-10-08T08:22:35Z)
• LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization [60.59339465850602]
  本論文では、8ビットのリカレント状態量子化の下で、ほぼ無作為な性能を実現する学習不要なLeapQuantを提案する。 LeapQuantは、推論中にメモリと計算コストを大幅に削減することを示す。 FP32ベースラインに匹敵する精度で、カーネルレベルでは2.05--3.70$times$、エンドツーエンドの推論では1.47$times$となる。
  論文  参考訳（メタデータ） (2026-09-29T17:59:34Z)
• SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
  Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。 我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
  論文  参考訳（メタデータ） (2026-08-23T10:41:07Z)
• Mean-to-Score Discrete Diffusion: Posterior-Mean Denoisers for Score Entropy [17.48959208263029]
  我々は,クリーンな後進平均を予測し,正確なカーネル依存線形写像を用いてスコアに変換するEmphmean-to-score (M2S)を導入する。 均一な汚職のために、確率的単純度をブリッジポリトープにマッピングし、吸収マスクの破損のためにMD4を正確に回収する。
  論文  参考訳（メタデータ） (2026-07-23T14:37:30Z)
• Metric--Phase Fields: Decoupling Distance and Sign for Thin-Structure Reconstruction from Unoriented Point Clouds [67.30236447078187]
  本稿では,距離近接を位相相から分離する非結合な暗黙的表現であるMetric-Phase Fields (MPFs)を紹介する。 合成および走査された薄殻形状と薄板形状の両方の実験により、MPFは最近のSDF法よりも薄くて層状構造を忠実に保存することが示された。
  論文  参考訳（メタデータ） (2026-05-25T07:08:57Z)
• Measuring Maximum Activations in Open Large Language Models [60.3514350516308]
  集中度, MoE, 視覚言語, 中間訓練, 命令調整型変異にまたがる8つのオープンファミリーから27個のチェックポイントで, グローバルおよび階層的に最大値を測定した。 最大アクティベーションサイズは、単純なサイズの副産物ではなく、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性である、と結論付けます。
  論文  参考訳（メタデータ） (2026-05-15T03:31:51Z)
• Revisiting Auxiliary Losses for Conditional Depth Routing: An Empirical Study [31.968379218484746]
  ゲート決定は、言語モデリング(LM)の損失に影響を与える前に、多くのレイヤを通して伝播しなければならない。 補助的な損失はトレーニングを安定させるために積み重ねられることが多いが、それらの間の相互作用、特に予測的な補助的なスコアと明示的なスコアの監督の間の相互作用は、制御された条件下で体系的に比較されていない。 これは、後続のすべてのレイヤがフルに実行されると仮定する、オフポリティのオラクルラベルにトレースしますが、ゲートされた実行ルートはフルに1分しかありません。
  論文  参考訳（メタデータ） (2026-04-19T03:20:40Z)
• What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
  GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。 各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
  論文  参考訳（メタデータ） (2025-10-13T16:31:50Z)
• Newton-Puiseux Analysis for Interpretability and Calibration of Complex-Valued Neural Networks [0.0]
  複雑なニューラルネットワーク(CVNN)は、心電図(ECG)、レーダー/ソナー、無線の位相/四分法(I/Q)ストリームなどの位相感受性信号を扱うのに適している。 訓練されたCVNNの局所的決定幾何を,小型のキンク対応サロゲートに適合させて検討するNewton-Puiseuxフレームワークを提案する。 我々のフェーズアウェア分析は、制御された$C2$合成ベンチマークを超える2つのケーススタディにおいて、センシティブな方向を特定し、予測エラーを強化する。
  論文  参考訳（メタデータ） (2025-04-27T09:37:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。