論文の概要: A Fix for Softmax and Cross-Entropy

• arxiv url: http://arxiv.org/abs/2610.31642v2
• Date: Mon, 26 Oct 2026 21:30:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.332058
• Title: A Fix for Softmax and Cross-Entropy
• Title（参考訳）: ソフトマックスとクロスエントロピーの修正
• Abstract要約: ソフトマックス、対数ソフトマックス、クロスエントロピーの標準実装には2つのバグがある。 両バグを修正するために,log-softmax, softmax, cross-entropyの簡単な実装を提案する。
• 参考スコア（独自算出の注目度）: 31.807542000106583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard implementations of softmax, log-softmax, and cross-entropy have two numerical bugs. The first bug, Softmax Collapse, rounds the target logit's gradient to zero if that one logit is much larger than the others, resulting in gradients that no longer sum to zero. The second bug, Softmax Cancellation, occurs when student logits are close to teacher logits, and produces non-zero gradients even when the student and teacher logits are equal. We present simple implementations of log-softmax, softmax, and cross-entropy that fix both bugs. Our fix eliminates the previously observed "slingshot" phenomenon, speeds up grokking with weight decay, prevents accuracy collapse without weight decay, stops student networks from drifting away from the teacher during distillation, and shows that after memorization, logit growth is bounded by an equilibrium between weight decay and Adam's $ε$ hyperparameter.
• Abstract（参考訳）: ソフトマックス、対数ソフトマックス、クロスエントロピーの標準実装には2つのバグがある。 最初のバグであるSoftmax Collapseは、一方のロジットが他方よりもはるかに大きい場合、ターゲットロジットの勾配をゼロに回す。 第2のバグであるSoftmax Cancellationは、生徒のロジットが教師のロジットに近いときに発生し、生徒と教師のロジットが等しい場合でも非ゼロ勾配を生成する。 両バグを修正するために,log-softmax, softmax, cross-entropyの簡単な実装を提案する。 我々の修正では,従来観察されていた「スリングショット」現象を排除し,重量減衰によるグルーキングを高速化し,重量崩壊のない精度の崩壊を防止し,蒸留中に生徒ネットワークが教師から遠ざかるのを阻止し,記憶化後,重量崩壊とアダムの$ε$ハイパーパラメータの平衡によってロジット成長が束縛されることを示す。

関連論文リスト

• A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification [3.058685580689604]
  ハードラベル分類は通常、スムーズな代理損失、特にソフトマックスのクロスエントロピーで訓練される。 我々は、このスムーズなサロゲートと離散ラベルのミスマッチが、パワーローラー学習曲線を生成するメカニズムを分離する。 学習速度のスケジュールは、$_g sim -1/2$の電力法則に対する一般化誤差を改善することができることを示す。
  論文  参考訳（メタデータ） (2026-05-21T11:26:32Z)
• Adaptive Sparse Softmax: An Effective and Efficient Softmax Variant [27.488444797784563]
  ソフトマックス」は現在のニューラル分類モデルの標準構成である。 本稿では,適応スパースソフトマックス (AS-Softmax) を提案する。 提案したAS-Softmaxは,5～5000以上のクラスサイズを持つテキストマルチクラス,テキストマルチラベル,テキストトークン分類,画像分類,音声分類タスクで検証する。 その結果、AS-Softmaxはソフトマックスとその変種を一貫して上回り、AS-Softmaxの損失は検証における分類性能と著しく相関していることがわかった。
  論文  参考訳（メタデータ） (2025-08-05T07:36:32Z)
• $ε$-Softmax: Approximating One-Hot Vectors for Mitigating Label Noise [99.91399796174602]
  ノイズラベルは、正確なディープニューラルネットワークをトレーニングする上で共通の課題となる。 我々は,ソフトマックス層の出力を制御可能な誤差で1ホットベクトルに近似させる,$epsilon$-softmaxを提案する。 理論的には、$epsilon$-softmaxは、ほぼ任意の損失関数に対して制御可能な過剰リスクを持つ耐雑音学習を実現することができる。
  論文  参考訳（メタデータ） (2025-08-04T13:10:48Z)
• Revisiting Softmax Masking: Stop Gradient for Enhancing Stability in Replay-based Continual Learning [4.604003661048267]
  我々は,ソフトマックスとリバイジットソフトマックスマスキングの効果を負の無限遠で分析した。 従来のクラスと新しいクラスに勾配スケールを調整することで安定性を制御できる汎用マスクソフトマックスを提案する。
  論文  参考訳（メタデータ） (2023-09-26T10:06:28Z)
• Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
  本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。 本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
  論文  参考訳（メタデータ） (2023-04-17T20:59:49Z)
• Policy Gradient with Tree Expansion [72.10002936187388]
  政策勾配法は、大きなばらつきと高いサンプルの複雑さを持つことで有名である。 我々は、計画を採用するソフトマックスの一般化であるSoftTreeMaxを紹介します。 我々は、SoftTreeMaxが勾配のばらつきを3桁に減らすことを示す。
  論文  参考訳（メタデータ） (2023-01-30T19:03:14Z)
• Real Additive Margin Softmax for Speaker Verification [14.226089039985151]
  AM-Softmaxの損失は、真のマックスマージントレーニングを実装していないことを示す。 ソフトマックストレーニングにおいて真のマージン関数を含むリアルAM-Softmax損失を示す。
  論文  参考訳（メタデータ） (2021-10-18T09:11:14Z)
• Balanced Meta-Softmax for Long-Tailed Visual Recognition [46.215759445665434]
  ソフトマックス関数は、ほとんどの分類タスクで使用されるが、長い尾の配置の下で偏りのある勾配推定を与えることを示す。 本稿では,Softmax のエレガントな非バイアス拡張である Balanced Softmax を提案する。 実験では,Quaird Meta-Softmaxが視覚認識とインスタンスセグメンテーションの両タスクにおいて,最先端の長期分類ソリューションより優れていることを示した。
  論文  参考訳（メタデータ） (2020-07-21T12:05:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。