論文の概要: Z-Loss Backward Geometry in Dense Output Heads and Sparse Routers

• arxiv url: http://arxiv.org/abs/2609.16179v1
• Date: Fri, 31 Jul 2026 05:22:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.534276
• Title: Z-Loss Backward Geometry in Dense Output Heads and Sparse Routers
• Title（参考訳）: 密度出力ヘッドとスパースルータのZ損失後方形状
• Abstract要約: Z-lossは、言語モデル出力ヘッドとスパース・ミックス・オブ・エキスパートのロジットに広く応用されている。 本稿では,Z-lossペナルティが生み出す勾配に着目し,バックパスの観点からZ-lossを解析する。
• 参考スコア（独自算出の注目度）: 4.230349220081444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Z-loss has been widely applied to the logits of language-model output heads and sparse mixture-of-experts routers. Z-loss constrains the softmax log-normalizers of these output heads and routers, thereby limiting large-logit excursions, reducing finite-precision roundoff exposure, and avoiding training-loss divergence. These use cases arise in modern Transformer settings where large-vocabulary softmax heads, top-$k$ routing, fused losses, and mixed-precision optimizers interact. Z-loss has typically been understood only as a scalar penalty on the log-normalizer. This paper instead analyzes Z-loss from a backward-pass perspective, focusing on the gradients produced by the Z-loss penalty. The logit-space gradient, which we call the backward source, is injected at the logit boundary of the Z-loss branch of backpropagation; consequently, the backward source's effect depends on the architecture and implementation through which the gradient is transported. We develop a backward-transport view for Z-loss that separates the source's scalar amplitude and softmax shape from the transport factors. These factors include common-shift coordinates, tied-embedding pathways, output-to-hidden gain, fused-loss source consistency, optimizer-facing updates, and top-$k$ router reduction scale. These diagnostics show that nearly identical forward Z-loss values can coexist with distinct logit-space Z-loss gradients and, after architectural and optimizer transport, distinct parameter updates. The transport diagnostics also explain why raw-logit Z-loss can reduce scalar tails without changing output-to-hidden gain and why active-route reductions alter the effective router coefficient. Across evaluations of models in the GPT-2 and Pythia families on WikiText-103 and FineWeb-Edu, architecture-aware variants reduce backward-geometry tails while maintaining comparable validation perplexity in low-coefficient regimes.
• Abstract（参考訳）: Z-lossは、言語モデル出力ヘッドとスパース混在ルータのロジットに広く応用されている。 Z-lossは、これらの出力ヘッドとルータのソフトマックスログ正規化器を制約し、これにより大きなログの抽出を制限し、有限精度のラウンドオフ露光を低減し、トレーニング損失のばらつきを避ける。 これらのユースケースは、大語彙のソフトマックスヘッド、上位$kのルーティング、融合損失、混合精度オプティマイザが相互作用する現代のTransformer設定で発生する。 Z-lossは通常、ログ正規化子に対するスカラーペナルティとしてのみ理解されている。 そこで本論文では,Z-lossを後方通過の観点から解析し,Z-lossのペナルティによる勾配に着目した。 バックプロパゲーションのZ-ロス分岐のロジット境界では、バックプロパゲーションと呼ばれるロジット空間勾配が注入されるため、バックプロパゲーションの影響は、勾配が輸送されるアーキテクチャや実装に依存する。 我々は、ソースのスカラー振幅とソフトマックス形状を輸送因子から分離するZ-lossの後方輸送ビューを開発する。 これらの要因には、共通シフト座標、結合埋め込み経路、出力から隠れたゲイン、融合したソース一貫性、オプティマイザ対応更新、およびトップ$k$ルータ縮小スケールが含まれる。 これらの診断は、ほぼ同一の前方Zロス値が、異なるロジット空間Zロス勾配と共存し、アーキテクチャおよび最適化されたトランスポートの後、異なるパラメータ更新を行うことを示す。 輸送診断では、生ログZ損失が出力から隠れたゲインを変化させることなくスカラーテールを低減できる理由と、アクティブルート還元が有効ルータ係数を変化させる理由も説明されている。 GPT-2 と Pythia の WikiText-103 と FineWeb-Edu でのモデル評価を通じて、アーキテクチャを意識した派生型は、低効率なシステムにおいて同等の妥当性を維持しながら、後方方向の尾部を減少させる。

関連論文リスト

• A Structural Interpretation of GELU and Threshold-Transmission Activations via the First-Order Loss Function [0.0]
  ガウス誤差線形単位は、通常入力依存ベルヌーイゲートの出力として動機付けられる。 この研究は別の解釈を与える: GELU はガウス的ランダムしきい値を持つ硬線型ゲートの期待出力である。
  論文  参考訳（メタデータ） (2026-07-04T02:34:22Z)
• Decision-Focused Learning via Tangent-Space Projection of Prediction Error [32.655683009031804]
  決定焦点学習(DFL)は、下流の意思決定品質を改善するために予測器を訓練する。 局所的に安定な活性制約を持つ標準正則性の下では、後悔勾配は閉形式幾何学的特徴を持つことを示す。 そこで本研究では, 線形系を減らし, 残差勾配を計算するPEARを提案する。
  論文  参考訳（メタデータ） (2026-05-02T10:10:16Z)
• No More Hooks in the Surface Code: Distance-Preserving Syndrome Extraction for Arbitrary Layouts at Minimum Depth [0.1679937788852768]
  Hookエラーは、サーフェスコードで論理演算を実装する上で大きな課題である。 本稿では,ZXインターリービング症候群抽出法を提案する。 提案手法は, 実用的フォールトトレラント量子計算に欠かせない手法として機能する。
  論文  参考訳（メタデータ） (2026-03-02T09:05:21Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• Fed-ZOE: Communication-Efficient Over-the-Air Federated Learning via Zeroth-Order Estimation [15.026407830543086]
  Fed-ZOEは、ゼロ階最適化(ZOO)で一般的に使用されるランダム化勾配推定器(RGE)にインスパイアされた効率的なフレームワークである。 Fed-ZOEは、通信コストを大幅に削減しながら、Fed-OtAに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-12-21T21:24:58Z)
• Refined Risk Bounds for Unbounded Losses via Transductive Priors [67.12679195076387]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• Weak Alignment Supervision from Hybrid Model Improves End-to-end ASR [5.2823268671093775]
  我々は、音声認識のエンドツーエンドモデリングを支援するために、既存のハイブリッドシステムから弱いアライメントの監督を作成する。 次に、導出したアライメントを用いてエンコーダの特定の層にクロスエントロピー損失を生成する。 一般的な1ホットクロスエントロピー損失とは対照的に,ラベル平滑化パラメータを持つクロスエントロピー損失を用いて監督を規則化する。
  論文  参考訳（メタデータ） (2023-11-24T20:14:28Z)
• The KFIoU Loss for Rotated Object Detection [115.334070064346]
  本稿では,SkewIoU損失とトレンドレベルアライメントを両立できる近似的損失を考案する上で,有効な方法の1つとして論じる。 具体的には、対象をガウス分布としてモデル化し、SkewIoUのメカニズムを本質的に模倣するためにカルマンフィルタを採用する。 KFIoUと呼ばれる新たな損失は実装が容易で、正確なSkewIoUよりもうまく動作する。
  論文  参考訳（メタデータ） (2022-01-29T10:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。