論文の概要: StoSignSGD: Unbiased Structural Stochasticity Fixes SignSGD for Training Large Language Models

• arxiv url: http://arxiv.org/abs/2604.15416v1
• Date: Thu, 16 Apr 2026 17:55:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.598565
• Title: StoSignSGD: Unbiased Structural Stochasticity Fixes SignSGD for Training Large Language Models
• Title（参考訳）: StoSignSGD: 大規模言語モデルのトレーニングのためのSignSGDの修正
• Abstract要約: SignSGDのような符号ベースの最適化アルゴリズムは、分散学習と大規模基盤モデルの訓練において、顕著な性能で大きな注目を集めている。 実験的な優位性にもかかわらず、SignSGDは非テキスト・平滑な目的において分岐することが知られている。 我々はbfStoSignSGDを提案する。bfStoSignSGDは、不偏更新ステップを維持しつつ、手話演算子に構造性を注入するアルゴリズムである。
• 参考スコア（独自算出の注目度）: 16.690425653502256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sign-based optimization algorithms, such as SignSGD, have garnered significant attention for their remarkable performance in distributed learning and training large foundation models. Despite their empirical superiority, SignSGD is known to diverge on non-smooth objectives, which are ubiquitous in modern machine learning due to ReLUs, max-pools, and mixture-of-experts. To overcome this fundamental limitation, we propose \textbf{StoSignSGD}, an algorithm that injects structural stochasticity into the sign operator while maintaining an unbiased update step. In the regime of (online) convex optimization, our theoretical analysis shows that StoSignSGD rigorously resolves the non-convergence issues of SignSGD, achieving a sharp convergence rate matching the lower bound. For the more challenging non-convex non-smooth optimization, we introduce generalized stationary measures that encompass prior definitions, proving that StoSignSGD improves upon the best-known complexity bounds by dimensional factors. Empirically, StoSignSGD exhibits robust stability and superior efficiency across diverse large language model (LLM) training regimes. Notably, in low-precision FP8 pretraining -- a setting where AdamW fails catastrophically -- StoSignSGD remains highly stable and yields a remarkable 1.44$\times$ to 2.14$\times$ speedup relative to established baselines. Furthermore, when fine-tuning 7B LLMs on mathematical reasoning tasks, StoSignSGD delivers substantial performance gains over both AdamW and SignSGD. Finally, to dissect the mechanisms driving its success, we develop a sign conversion framework capable of transforming any general optimizer into its unbiased, sign-based counterpart. Utilizing this framework, we deconstruct the core components of StoSignSGD and present a comprehensive ablation study to empirically validate our algorithmic design choices.
• Abstract（参考訳）: SignSGDのような符号ベースの最適化アルゴリズムは、分散学習と大規模基盤モデルの訓練において、顕著な性能で大きな注目を集めている。 実験的な優位性にもかかわらず、SignSGDは、ReLU、max-pools、mix-of-expertsによる現代の機械学習においてユビキタスな非平滑な目的に基づいて分散することが知られている。 この基本的な制限を克服するために,不偏更新ステップを維持しながら手話演算子に構造確率を注入するアルゴリズムである \textbf{StoSignSGD} を提案する。 オンライン凸最適化では,StoSignSGD が SignSGD の非収束問題を厳密に解決し,下界に適合する鋭い収束率を達成する。 より困難な非凸な非滑らかな最適化のために、StoSignSGDが次元因子によって制限される最もよく知られた複雑性を改善することを証明し、事前定義を含む一般化された定常測度を導入する。 経験的に、StoSignSGDは様々な大規模言語モデル(LLM)訓練体制において、堅牢な安定性と優れた効率を示す。 特に、AdamWが破滅的に失敗する低精度FP8事前訓練では、StoSignSGDは非常に安定であり、確立されたベースラインに対して1.44$\times$から2.14$\times$スピードアップとなる。 さらに、数学的な推論タスクに7B LLMを微調整すると、StoSignSGDはAdamWとSignSGDの両方に対して大幅な性能向上をもたらす。 最後に、その成功を導くメカニズムを解明するために、任意の一般化最適化器を非バイアスの符号ベースに変換できる符号変換フレームワークを開発する。 このフレームワークを利用して、StoSignSGDのコアコンポーネントを分解し、アルゴリズム設計の選択を実証的に検証するための包括的なアブレーション研究を示す。

関連論文リスト

• A Critical Synthesis of Uncertainty Quantification and Foundation Models for Semantic Segmentation [8.144213556496569]
  ファンデーションモデルは、前例のない精度とクロスドメインの一般化を可能にして、これまで不可能だったものを破っている。 解釈可能性の欠如、過信傾向、現実世界のドメインシフトへの敏感さは、安全性とミッションクリティカルなアプリケーションにとって重要な課題である。 不確実性定量化(UQ)はこれらの問題に対処する原則的な方法を提供するが、セグメンテーション基礎モデルへの統合はまだ検討されていない。
  論文  参考訳（メタデータ） (2026-08-19T09:09:42Z)
• Factor Augmented High-Dimensional SGD [4.542148087324063]
  勾配降下 (SGD) は、現代の機械学習で広く使われている基本最適化アルゴリズムである。 高次元学習タスクにおける潜在因子表現を利用する新しい最適化手法であるFacter-Augmented SGD(FSGD)を提案する。
  論文  参考訳（メタデータ） (2026-05-19T03:10:33Z)
• When and Why SignSGD Outperforms SGD: A Theoretical Study Based on $\ell_1$-norm Lower Bounds [15.724495678714007]
  SignSGDやMuonのような符号ベースの最適化アルゴリズムは、大規模な基礎モデルのトレーニングにおける顕著なパフォーマンスに対して大きな注目を集めている。 そこで,SignSGD は Emphsparse ノイズ下での $d$ の係数で,問題次元が $d$ であるような複雑性を効果的に低減することを示す。
  論文  参考訳（メタデータ） (2026-05-07T17:32:09Z)
• Mitigating Error Amplification in Fast Adversarial Training [58.74042726356826]
  FAT(Fast Adversarial Training)は、ネットワークに摂動不変表現の学習を促すことによって、モデルロバスト性の向上に有効であることが証明されている。 FATは、しばしば破滅的なオーバーフィッティング(CO)に悩まされ、モデルがトレーニングアタックに過度に適合し、目に見えないものへの一般化に失敗する。 本稿では、摂動予算と監視信号の両方を動的に調整する分散対応動的ガイダンス(DDG)戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-27T11:23:18Z)
• Think Twice Before You Write -- an Entropy-based Decoding Strategy to Enhance LLM Reasoning [32.332197731504046]
  デコード戦略は、大きな言語モデルの推論能力を形成する上で、中心的な役割を果たす。 グレディ復号やビームサーチといった従来の手法は、しばしばエラーの伝播に悩まされる。 本稿では,トークンレベルの適応性を世代に導入するエントロピー誘導復号化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-10T23:08:26Z)
• The Power of Decaying Steps: Enhancing Attack Stability and Transferability for Sign-based Optimizers [9.020853139493239]
  非収束性と不安定性の1つの原因は、非遅延的なステップサイズスケジューリングである、と我々は主張する。 そこで本研究では,信号ベース対角線における一律的なステップサイズ決定を強制する,新たな攻撃アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-02-22T08:37:06Z)
• Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective [85.06838178922791]
  強化学習(RL)は自己回帰言語モデルに非常に効果的であることが証明されている。 しかし、これらの手法を拡散大言語モデル(dLLM)に適応させることは、根本的な課題を提起する。 本稿では,全シーケンス生成を単一アクションとして扱い,ELBOを抽出可能なシークエンスレベル確率プロキシとして利用する,原則的RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-03T13:05:32Z)
• Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
  適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2025-09-20T17:09:14Z)
• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• Leveraging Coordinate Momentum in SignSGD and Muon: Memory-Optimized Zero-Order [39.25335214877435]
  ダウンストリームタスクに事前訓練されたモデルを適用するには、微調整大型言語モデル(LLM)が不可欠である。 従来の一階述語アルゴリズムは、モデルサイズであまりスケールしない、禁止的なメモリと計算コストを発生させる。 メモリと計算効率の代替としてゼロオーダー(ZO)最適化法を提案する。
  論文  参考訳（メタデータ） (2025-06-04T20:27:17Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Revisiting and Advancing Fast Adversarial Training Through The Lens of Bi-Level Optimization [60.72410937614299]
  提案手法は,2レベルAT(FAST-BAT)と呼ばれる新しいアルゴリズムセットの設計と解析である。 FAST-BATは、グラデーションサインメソッドや明示的なロバスト正規化を呼ぶことなく、符号ベースの投射降下(PGD)攻撃を防御することができる。
  論文  参考訳（メタデータ） (2021-12-23T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。