論文の概要: ZEMA: confidence-calibrated signed descent with only one state
- arxiv url: http://arxiv.org/abs/2611.04987v1
- Date: Tue, 03 Nov 2026 14:38:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 15:12:56.419968
- Title: ZEMA: confidence-calibrated signed descent with only one state
- Title(参考訳): ZEMA:1州のみの信任決議署名
- Abstract要約: 本稿では,ZEMA (Z-score Evidence Momentum Adaptation) を導入し,現在のバッチにおけるサンプル単位の勾配から計算した,Z$-score のコーディネートごとのサポートについて述べる。
確率は後続ではなく滑らかになる前に形成されるので、ZEMAはアダムの2つではなく1つのパラメータの状態を4.6ドルの増加で保持する。
微調整および事前訓練実験では、ZEMAはAdamと競合し、バリデーション損失のばらつきを低減し、いくつかの設定ではフルデータセット勾配の符号をより一貫して回復する。
- 参考スコア(独自算出の注目度): 16.555988534482115
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work characterizes the Adam optimizer as sign descent modulated by gradient uncertainty: the update is the sign of the batch gradient, scaled by how strongly the batch supports that sign. We apply this view directly and introduce ZEMA (Z-score Evidence Momentum Adaptation), which measures that support with a per-coordinate $z$-score computed from the per-example gradients in the current batch, converts it into a sign probability, and smooths the resulting update with a single exponential moving average. Because the probability is formed before smoothing rather than after, ZEMA keeps one state per parameter instead of Adam's two, at a $4.6$ increase in per-step time; the per-example variance it requires can also be estimated from a small fraction of the batch. In fine-tuning and pretraining experiments, ZEMA is competitive with Adam, reduces the variability of the validation loss, and in some settings recovers the sign of the full-dataset gradient more consistently. We close with two directions this opens: extending confidence adaptation beyond the sign geometry, to methods such as Muon, and to differentially private training.
- Abstract(参考訳): 最近の作業では、Adamオプティマイザを勾配の不確実性によって変調されたサイン降下として特徴付けている。
この考え方を直接適用し、ZEMA(Z-score Evidence Momentum Adaptation)を導入し、現在のバッチのサンプルごとの勾配から計算したZ$-scoreを1回の指数移動平均でスムーズする。
確率はアフターではなく滑らかになる前に形成されるので、ZEMAはAdamの2つではなく1つの状態を保持し、ステップ毎の4.6ドル増量する。
微調整および事前訓練実験では、ZEMAはAdamと競合し、バリデーション損失のばらつきを低減し、いくつかの設定ではフルデータセット勾配の符号をより一貫して回復する。
サイン幾何学を超えて信頼性適応を拡張し、Muonのようなメソッドに拡張し、微分プライベートなトレーニングを行う。
関連論文リスト
- Moment-Guided Optimizers for Noisy Deep Learning: MGO-SC as a Simple Consistency Gate for Adam-Style Updates [0.0]
我々は,平均保存ブートストラップを導入し,各テンソルのステップサイズを変更せずに,座標間の信頼を再配置する。
本報告では,同種効果の大きさ,非パラメトリック信頼区間,ペア意味試験を報告し,コードと生ログを公表する。
論文 参考訳(メタデータ) (2026-10-27T01:47:28Z) - Why Adaptive Optimizers Underestimate Rare Tokens [0.0]
アダプティブメソッドは、各更新をその大きさのランニング推定で分割し、トークンが出現した直後にその推定が最大になる。
Adam, Adafactor, Lion, and sign descent はそうではない。
我々は、これらの予測をユニグラムモデルと、既知の生成分布から訓練された小さな言語モデルの両方でテストする。
論文 参考訳(メタデータ) (2026-09-29T13:20:30Z) - Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。
報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。
textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
論文 参考訳(メタデータ) (2026-08-06T14:55:42Z) - The Loss Does Not See the Basis, but Adam Does [0.0]
因子モデル$W = UVtop$の勾配勾配は低ランク解に対して暗黙的に偏りがあることが示される。
次に, 埋設地真実に対する回復誤差により, 未決定行列検出に関する9つの更新規則を整理した。
論文 参考訳(メタデータ) (2026-08-05T17:56:26Z) - M+Adam: Low-Precision Training via Additive-Multiplicative Optimization [69.5989114185868]
量子化された重量のトレーニングはコストを削減できるが、しばしば精度が低下する。
本稿では,2つの更新タイプを組み合わせたM+Adamを提案する。
60M-1Bのモデルと1x-8xのチンチラ、BF16、FP8、FP4のマスターウェイトを使用したLLaMA型プレトレーニングでは、M+アダムは一貫して低精度トレーニングを改善している。
論文 参考訳(メタデータ) (2026-07-12T07:15:47Z) - Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。
トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。
本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。
また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
論文 参考訳(メタデータ) (2026-04-14T18:19:54Z) - OptEMA: Adaptive Exponential Moving Average for Stochastic Optimization with Zero-Noise Optimality [23.28384210732827]
我々はOptEMAを導入し、OptEMA-MとOptEMA-Vの2つの新しい変種を分析した。
OptEMA は閉ループであり、その実効的な階段化は軌道依存であり、パラメータ化にリプシッツ定数を必要としないという意味でリプシッツ自由である。
どちらの変種も平均勾配ノルムに対して$widetildemathcalO(T-1/2+1/2 T-1/4)$の雑音適応収束率を得る。
論文 参考訳(メタデータ) (2026-03-10T17:19:54Z) - Process-Tensor Tomography of SGD: Measuring Non-Markovian Memory via Back-Flow of Distinguishability [1.078600700827543]
我々は,識別可能性のオンフバックフローに基づく学習記憶のモデルに依存しない簡易な目撃者を構築した。
高い運動量下での増幅, よりマイクロステップで, 厳密なブートストラップ信頼区間による一貫した正の逆流を観察した。
我々はこれを、実用的なSGDがマルコフの理想化から逸脱する、原則化された診断および実証的な証拠として位置付ける。
論文 参考訳(メタデータ) (2026-01-23T09:03:25Z) - Staircase Sign Method for Boosting Adversarial Attacks [123.19227129979943]
トランスファーベースの攻撃の敵の例を作るのは難しいし、研究のホットスポットだ。
そこで本研究では,この問題を緩和するための新しい階段サイン法(S$2$M)を提案する。
我々の手法は一般に転送ベースの攻撃と統合することができ、計算オーバーヘッドは無視できる。
論文 参考訳(メタデータ) (2021-04-20T02:31:55Z) - MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of
Gradients [112.00379151834242]
本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。
これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
論文 参考訳(メタデータ) (2020-06-21T21:47:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。