論文の概要: Moment-Guided Optimizers for Noisy Deep Learning: MGO-SC as a Simple Consistency Gate for Adam-Style Updates
- arxiv url: http://arxiv.org/abs/2610.37712v1
- Date: Tue, 27 Oct 2026 01:47:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.299476
- Title: Moment-Guided Optimizers for Noisy Deep Learning: MGO-SC as a Simple Consistency Gate for Adam-Style Updates
- Title（参考訳）: 雑音の多いディープラーニングのためのモーメントガイド型最適化:Adam-Styleアップデートのためのシンプルな一貫性ゲートとしてのMGO-SC
- Abstract要約: 我々は,平均保存ブートストラップを導入し,各テンソルのステップサイズを変更せずに,座標間の信頼を再配置する。
本報告では,同種効果の大きさ,非パラメトリック信頼区間,ペア意味試験を報告し,コードと生ログを公表する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adaptive optimizers are widely used in deep learning, yet their behavior can degrade under heavy stochasticity and label noise where the sign and magnitude of gradients can be unstable. We study MGO-SC (Moment-Guided Optimizer with Sign-Consistency), a lightweight modification of Adam-style methods that derives a coordinate-wise consistency gate from the magnitude of a sign exponential moving average (EMA): coordinates whose gradient sign is stable are trusted, while coordinates whose sign fluctuates are down-weighted. We show that the naive form of this gate, which can only shrink updates, loses effective step size and underperforms when the learning rate is matched to the baseline. We therefore introduce a mean-preserving variant that reallocates trust across coordinates without changing the net per-tensor step magnitude. On CIFAR-10 with ResNet-18, under a matched learning rate and decoupled weight decay, mean-preserving MGO-SC consistently improves over its AdamW baseline across clean, symmetric, and asymmetric label noise (e.g., +1.4 points at 40% symmetric noise; paired bootstrap 95% CI excluding zero; Wilcoxon p<0.01), while adding no second-order information or per-sample filtering. We report matched-seed effect sizes, nonparametric bootstrap confidence intervals, and paired significance tests, and we release code and raw logs.
- Abstract（参考訳）: アダプティブ・オプティマイザはディープラーニングにおいて広く用いられているが、その振る舞いは、勾配の符号と大きさが不安定であるような重い確率とラベルノイズの下で劣化する可能性がある。
MGO-SC(Moment-Guided Optimizer with Sign-Consistency)は,符号指数移動平均(EMA)の大きさから座標整合ゲートを導出するAdam方式の軽量な修正法である。
このゲートは,更新を縮小するだけで有効なステップサイズが失われ,学習速度がベースラインと一致した場合に性能が低下することを示す。
したがって、平均保存変種を導入し、各テンソルステップの大きさを変更せずに、座標間の信頼を再配置する。
ResNet-18 を用いた CIFAR-10 では、平均保存 MGO-SC は、クリーン、対称、および非対称なラベルノイズ(例えば、40% 対称雑音における +1.4 点、ゼロを除いたペアブートストラップ 95% CI、ウィルコクソン p<0.01 )で、AdamW ベースラインよりも一貫して改善されている。
本報告では,同種効果の大きさ,非パラメトリックブートストラップ信頼区間,ペア意味試験を報告し,コードと生ログを公表する。
関連論文リスト
- Orthogonal Gradient Constraints Shape Noisy-Label Memorization Dynamics [0.0]
重みベクトルに平行な各重み勾配の成分をノイズラベル画像分類で除去するOrthoGradの評価を行った。
小さなデータ構造を持つMNISTでは、OrthoGradはCNNのテスト精度を最も明確に改善し、破損したラベルのフィッティングを低減している。
論文 参考訳（メタデータ） (2026-06-24T04:34:31Z) - Softsign: Smooth Sign in Your Optimizer For Better Parameter Heterogeneity Handling [43.61290689244612]
サインベースとLMOにインスパイアされたデバイスは、パフォーマンスのフットプリントが強かったために、ディープラーニングに大きな注目を集めている。
我々は,符号ベースの更新からハードライクなステップへのパラメータ的遷移を考慮に入れた,符号ベースの最適化であるSoftSignumを提案する。
我々は、SoftMuonがハードサインベースの標準のAdamWよりも一貫して改善していることを示します。
論文 参考訳（メタデータ） (2026-05-29T14:41:36Z) - Directional Consistency as a Complementary Optimization Signal: The GONO Framework [0.0]
我々は、深層学習最適化における未探索現象を定式化し、指向性アライメントと損失収束を分離することができる。
本稿では,方向整合性の下でモーメントを増幅し,振動中にそれを抑圧する cc_t に基づいて,Adam の運動量ベータを適応させる GONO を紹介する。
我々は、GONOがAdamの収束率と一致することを証明し、信号が非形式的であるとき、正確にAdamに還元する。
論文 参考訳（メタデータ） (2026-05-07T17:05:05Z) - Adaptive Batch Sizes Using Non-Euclidean Gradient Noise Scales for Stochastic Sign and Spectral Descent [21.698853170807684]
勾配雑音尺度(GNS)に基づく既存の適応戦略は、原則的な代替手段を提供する。
それぞれの双対ノルムの幾何から自然に現れる符号SGDとSpecSGDの勾配雑音メトリクスを導出する。
実験により,非ユークリッドノルムを用いた適応型バッチサイズ戦略により,定型バッチベースラインの検証損失を最大66%削減できることを確認した。
論文 参考訳（メタデータ） (2026-02-03T02:16:55Z) - What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。
各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
論文 参考訳（メタデータ） (2025-10-13T16:31:50Z) - Optimal High-probability Convergence of Nonlinear SGD under Heavy-tailed Noise via Symmetrization [50.49466204159458]
雑音対称性に基づく2つの新しい推定器を提案する。
よりシャープな分析と改善されたレートを提供します。
モーメントと対称雑音を仮定する作業と比較して、よりシャープな解析と改善率を提供する。
論文 参考訳（メタデータ） (2025-07-12T00:31:13Z) - Latent Class-Conditional Noise Model [54.56899309997246]
本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。
次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。
提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
論文 参考訳（メタデータ） (2023-02-19T15:24:37Z) - Consistent-Teacher: Towards Reducing Inconsistent Pseudo-targets in
Semi-supervised Object Detection [28.40887130075552]
擬似ターゲットは正確な検出器の訓練を損なう。
生徒のトレーニングにノイズを注入し、過度な過度な問題を引き起こす。
不整合を低減するために,ConsistentTeacherと呼ばれる体系的ソリューションを提案する。
論文 参考訳（メタデータ） (2022-09-04T10:21:02Z) - Robust Training of Neural Networks using Scale Invariant Architectures [70.67803417918854]
SGDとは対照的に、Adamのような適応勾配法は、現代のディープネットワークの堅牢なトレーニングを可能にする。
この一般的なアプローチは、パラメータと損失の再スケーリングに頑健であることを示す。
我々は、単にバニラSGDで訓練された場合、Adamのような適応的な手法で訓練されたBERTに匹敵する性能を達成する、SIBERTと呼ばれるスケール不変バージョンのBERTを設計する。
論文 参考訳（メタデータ） (2022-02-02T11:58:56Z) - Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。
本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。
ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文 参考訳（メタデータ） (2020-12-13T03:41:52Z) - MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of
Gradients [112.00379151834242]
本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。
これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
論文 参考訳（メタデータ） (2020-06-21T21:47:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。