論文の概要: Optimizer Memory Makes Shuffle Order a First-Order Source of Fine-Tuning Noise
- arxiv url: http://arxiv.org/abs/2606.29554v1
- Date: Sun, 28 Jun 2026 18:44:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.958643
- Title: Optimizer Memory Makes Shuffle Order a First-Order Source of Fine-Tuning Noise
- Title（参考訳）: シャッフルオーダーを微調整ノイズの1次源とするオプティマイザメモリ
- Abstract要約: シャッフルオーダーは、メモリレス解析が予測するよりも微調整ノイズの源となる可能性がある。
我々は、このメカニズムを分離し、生成するノイズのサイズを不適合にする方法を導出する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Shuffle order can be a larger source of fine-tuning noise than a memoryless analysis predicts: fixed-clock optimizer memory makes local equal-multiset contrasts first order in the learning rate rather than second order, and the resulting order channel can be large enough for a single seed to flip a close A/B comparison. We isolate this mechanism and derive a fit-free way to size the noise it produces. For a memoryless optimizer, reordering an equal multiset has no first-order endpoint term; the leading local contrast is the $O(η^2)$ gradient bracket. Fixed-clock optimizers such as AdamW are different. Their moment buffers, preconditioner state, and de-biasing counters advance with the step index rather than with the learning-rate-scaled time $τ=ηk$, so the same gradient can receive a position-dependent endpoint weight. For any fixed finite measurement window, a lifted-state expansion gives an $O(η)$ equal-multiset contrast whenever the first-order replay coefficient is nonzero, while regular and clock-matched controls remain $O(η^2)$; a bare fixed-$β$ momentum buffer is already enough. A bitwise-deterministic replay from one warmed optimizer state isolates the mechanism, giving order-variance slopes 1.83 for AdamW, 2.00 for fixed-$β$ momentum, and 4.00 for SGD; matching the memory clock to $τ$ restores the regular exponent. For AdamW with a frozen preconditioner, the same impulse-weight kernel gives a closed-form asymptotic order-variance floor after the local potentials are measured, with no fitted coefficients. The result is local to the measurement window (independent reshuffling can average the channel across windows), but it yields order-noise error bars, positional attribution weights, and a seed-budget criterion for fine-tuning comparisons.
- Abstract（参考訳）: 固定時間オプティマイザメモリは、第2次ではなく第1次学習率で局所的に等マルチセットコントラストを生成し、結果として得られる順序チャネルは、1つのシードが近いA/B比較を反転させるのに十分大きい。
我々は、このメカニズムを分離し、生成するノイズのサイズを不適合にする方法を導出する。
メモリレスオプティマイザの場合、同値な多重集合の再順序付けには一階の終点項がなく、主要な局所コントラストは$O(η^2)$グリートブラケットである。
AdamWのような固定時間オプティマイザが異なる。
彼らのモーメントバッファ、プレコンディショナー状態、デバイアスカウンタは、学習時間スケールの$τ=ηk$ではなくステップインデックスで進行するので、同じ勾配は位置依存のエンドポイント重みを受け取ることができる。
任意の固定有限測度窓に対して、持ち上げ状態拡張は、一階リプレイ係数がゼロでないときに$O(η)$等マルチセットコントラストを与えるが、正規制御とクロック整合制御は$O(η^2)$のままであり、素の固定値β$運動量バッファはすでに十分である。
1つの温められたオプティマイザ状態からのビットワイズ決定性リプレイは、この機構を分離し、AdamWが1.83、固定値β$運動量2.00、SGDが4.00を与える。
凍結プレコンディショナーを持つAdamWの場合、同じインパルス重みを持つカーネルは、局所ポテンシャルが測定された後に閉じた形の漸近的な秩序分散フロアを与える。
結果は測定ウィンドウに局所的である(非依存的な再シャッフルは、ウィンドウを横断するチャネルを平均化することができる)が、オーダーノイズエラーバー、位置属性重み、および微調整比較のためのシード予算基準が得られる。
関連論文リスト
- Decay versus dephasing in Rydberg analog optimization: exchange rate, mechanism, and schedule design [0.05427878000393745]
ノイズレスリドバーグ原子最適化はデコヒーレンスとデフォーカスの観点から研究されている。
一階摂動理論はノイズのない伝播だけで$$を再現する。
コストモデル全体がノイズを伴わないため、ノイズのないシミュレーションをすることなく、スケジュールをデバイスのチャネルミックスに調整することができる。
論文 参考訳（メタデータ） (2026-08-30T15:41:02Z) - Second-Moment Memory in Coordinatewise Adam [0.0]
第二モーメントメモリ自体が最適勾配への進行を抑えることができることを示す。
勾配ノイズが有限分散であっても、長い第2モーメントメモリは最適化を遅くすることができる。
論文 参考訳（メタデータ） (2026-08-16T15:56:36Z) - Asymptotic-Preserving A Posteriori Analysis of Diffusion and Flow-Matching Samplers [0.6768558752130311]
拡散及びフローマッチングサンプリングは、学習した確率フローODEを、大きなノイズスケールから小さな終端フロア($_min$)まで統合し、スコアが硬く、フローが境界層を発達させる。
特異摂動パラメータとして$_min$を扱い、どの固定ステップサンプリングが解けるかを決定する。
論文 参考訳（メタデータ） (2026-07-05T04:48:33Z) - Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。
我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。
この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
論文 参考訳（メタデータ） (2025-10-17T02:58:35Z) - Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
論文 参考訳（メタデータ） (2025-06-30T13:27:39Z) - VAMO: Efficient Zeroth-Order Variance Reduction for SGD with Faster Convergence [6.574641780732972]
大規模非問題はディープラーニングでは一般的である。
ファーストオーダー(FO)は今日のベースラインとして機能する。
ZOアルゴリズムは計算量とメモリコストを減らす。
VAMOは、より少ない動的メモリ要求でこれらのゲインを達成する。
論文 参考訳（メタデータ） (2025-05-20T05:31:15Z) - Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation [49.78792404811239]
確率分析形式が不明なシミュレーションベースモデルにおける推論について検討する。
我々は、スコアを同時に追跡し、パラメータ更新を駆動する比率のないネスト型マルチタイムスケール近似(SA)手法を用いる。
我々のアルゴリズムは、オリジナルのバイアス$Obig(sqrtfrac1Nbig)$を排除し、収束率を$Obig(beta_k+sqrtfracalpha_kNbig)$から加速できることを示す。
論文 参考訳（メタデータ） (2024-11-20T02:46:15Z) - Semi-Discrete Optimal Transport: Nearly Minimax Estimation With Stochastic Gradient Descent and Adaptive Entropic Regularization [38.67914746910537]
我々は,ラゲールセル推定と密度支持推定の類似性を用いて,OTマップに対して$mathcalO(t-1)$の低いバウンダリレートを証明した。
所望の速さをほぼ達成するために,サンプル数に応じて減少するエントロピー正規化スキームを設計する。
論文 参考訳（メタデータ） (2024-05-23T11:46:03Z) - Extra-Newton: A First Approach to Noise-Adaptive Accelerated
Second-Order Methods [57.050204432302195]
本研究では,2次スムーズな凸関数を最小化するための普遍的かつ適応的な2次法を提案する。
我々のアルゴリズムは、オラクルフィードバックが分散$sigma2$であるときに$O(sigma / sqrtT)$収束を達成し、決定論的オラクルで$O(1 / T3)$に収束を改善する。
論文 参考訳（メタデータ） (2022-11-03T14:12:51Z) - Sharper Convergence Guarantees for Asynchronous SGD for Distributed and
Federated Learning [77.22019100456595]
通信周波数の異なる分散計算作業者のトレーニングアルゴリズムを示す。
本研究では,より厳密な収束率を$mathcalO!!(sigma2-2_avg!)とする。
また,不均一性の項は,作業者の平均遅延によっても影響されることを示した。
論文 参考訳（メタデータ） (2022-06-16T17:10:57Z) - Asynchronous Stochastic Optimization Robust to Arbitrary Delays [54.61797739710608]
遅延勾配の最適化を考えると、ステップt$毎に、アルゴリズムは古い計算を使って更新する - d_t$ for arbitrary delay $d_t gradient。
本実験は,遅延分布が歪んだり重くなったりした場合のアルゴリズムの有効性とロバスト性を示す。
論文 参考訳（メタデータ） (2021-06-22T15:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。