論文の概要: EGGROLL, Unrolled: Understanding and Improving Low-Rank Evolution Strategies at Scale
- arxiv url: http://arxiv.org/abs/2609.10980v1
- Date: Thu, 10 Sep 2026 01:58:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.179068
- Title: EGGROLL, Unrolled: Understanding and Improving Low-Rank Evolution Strategies at Scale
- Title（参考訳）: EGGROLL, Unrolled: スケールでの低ランク進化戦略の理解と改善
- Abstract要約: EGGROLL は高密度ガウス重摂動を低ランクガウス積に置き換えることで LLM の進化戦略を実践する。
有限人口推定器の誤差を解析する。
退避推定器であるLOO-ROLLは、EGGROLLの2つのアンチセティック評価を1方向に置き換えつつ、有限ランクの個体群を保存する。
- 参考スコア（独自算出の注目度）: 9.562123195246393
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: EGGROLL makes evolution strategies (ES) practical for LLMs by replacing dense Gaussian weight perturbations with low-rank Gaussian products, often of rank one. This choice is computationally attractive but geometrically severe: each rank-one perturbation lies in a zero-volume subset of the ambient matrix space, despite having identity covariance. We characterize the mean EGGROLL update field at finite rank and nonzero perturbation radii, then analyze the error of its finite-population estimator. The population field is obtained by applying an explicit resolvent to the gradient of the objective smoothed by the perturbations. We show that the resolvent can introduce a nonconservative component and can reverse the local stability of an optimum. EGGROLL is nevertheless exact on every quadratic objective at every rank and radius. For smooth objectives, its first local finite-rank correction is $O(σ^2/r)$, and nonasymptotic bounds control the resulting field error under smoothness assumptions. Under a local affine model, rank-one perturbations increase the variance of the gradient estimator by only $\frac{2(m+n+1)}{mn+1}$ relative to dense Gaussian ES, or $0.098\%$ for a $4096\times4096$ matrix. We then introduce LOO-ROLL, a leave-one-out estimator that preserves the finite-rank population field while replacing EGGROLL's two antithetic evaluations per direction by one. At equal evaluation cost, LOO-ROLL halves estimator MSE in transformer blocks. At matched wall time across ten post-training settings and models up to 8B parameters, LOO-ROLL improves seven outcomes in individual paired tests, with no significant loss. On the GSM8K test set, accuracy increases from $38.1\%$ to $63.0\%$ at 0.6B and from $65.9\%$ to $80.0\%$ at 8B. Transformer measurements recover the predicted finite-rank variance, while the rank comparisons show no reproducible reward-based advantage for rank eight.
- Abstract（参考訳）: EGGROLLは、高密度ガウス重摂動を低ランクガウス積(しばしばランク1のガウス積)に置き換えることで、LSMの進化戦略(ES)を実践する。
この選択は計算的に魅力的だが幾何的に厳しい:各ランク1の摂動は、単位共分散を持つにもかかわらず、周囲行列空間の零体積部分集合に属する。
我々は,EGGROLL更新平均値の有限ランクと非ゼロ摂動半径を特徴付けるとともに,その有限人口推定器の誤差を解析した。
群集場は、摂動によって滑らかな目的の勾配に明示的な分解剤を施すことにより得られる。
非保存成分を導入することができ、最適の局所安定性を逆転させることができることを示す。
EGGROLLは、すべてのランクと半径の2次目標に対して正確なものである。
滑らかな目的に対して、最初の局所有限ランク補正は$O(σ^2/r)$であり、漸近境界は滑らかな仮定の下で結果の場誤差を制御する。
局所アフィンモデルの下では、階数1の摂動は、密度ガウス ES に対して $\frac{2(m+n+1)}{mn+1}$ または $4096\times4096$ 行列に対して $0.098\%$ で勾配推定子の分散を増大させる。
次に, EGGROLLの2つのアンチテーゼ評価を1方向に置き換えたまま, 有限ランクの個体群を保存した残余推定器であるLOO-ROLLを紹介する。
同じ評価コストで、LOO-ROLL は変圧器ブロック内の推定器 MSE を半減する。
トレーニング後の10つの設定と最大8Bパラメータのモデルで一致した壁時間では、LOO-ROLLはペアテストの7つの結果を改善するが、大きな損失はない。
GSM8Kテストセットでは、精度は38.1\%から0.6Bで63.0\%、65.9\%から8Bで80.0\%に向上する。
トランスフォーマー測定は予測された有限ランクのばらつきを回復する一方、ランク比較では8階に対する再現可能な報酬に基づく優位性は示さない。
関連論文リスト
- Laplace-Fisher Gate Identities for Optimal Matrix-Gated Blended Score Estimation [0.0]
Laplace-Fisher Gate Identity (LFGI)
ベイズ逆問題に対する正規化密度評価のための有限参照LFGI推定器
LFGIと既知のモデルエビデンスを用いた実験は、ガウスと非ガウスの両方の設定における絶対的なエビデンス校正をチェックする。
論文 参考訳（メタデータ） (2026-06-23T21:00:32Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。
鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。
我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
論文 参考訳（メタデータ） (2026-05-21T08:57:38Z) - Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression [12.805268849262243]
我々はPolyak-Ruppert averaged gradient descent (SGD)のオンライン共分散行列推定について検討した。
この構造は、このボトルネックがSGDドリフトからヘッセンの情報をサブ線形に蓄積していることを明らかにする。
論文 参考訳（メタデータ） (2026-04-12T20:49:33Z) - Unbiased and Biased Variance-Reduced Forward-Reflected-Backward Splitting Methods for Stochastic Composite Inclusions [3.6997773420183866]
本研究では,フォワード反射逆スプリッティング法(FRBS)のための新しい分散還元法を開発した。
ミニバッチのような偏見のない推定器とは異なり、偏見のある変種の開発は基本的な技術的課題に直面している。
ループレスSVRGやSAGAを利用する場合,$mathcalO(n2/3-2)$と$mathcalO(-10/3)$が最良であることを示す。
論文 参考訳（メタデータ） (2026-03-16T17:39:25Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Information Hidden in Gradients of Regression with Target Noise [2.8911861322232686]
勾配だけでヘッセンが明らかになることを示す。
我々はガウス以下の入力の下で非漸近作用素ノルム保証を提供する。
論文 参考訳（メタデータ） (2026-01-26T14:50:16Z) - Evolution Strategies at the Hyperscale [57.75314521465674]
本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。
ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。
EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
論文 参考訳（メタデータ） (2025-11-20T18:56:05Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳（メタデータ） (2025-05-19T07:32:56Z) - Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic
Shortest Path [80.60592344361073]
線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。
エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。
既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
論文 参考訳（メタデータ） (2024-02-14T07:52:00Z) - Gradient Estimation for Binary Latent Variables via Gradient Variance
Clipping [6.234350105794441]
勾配推定はしばしば、離散潜在変数を持つ生成モデルに適合するために必要である。
DisARMや他の推定器は、パラメータ空間の境界付近でばらつきを爆発させる可能性がある。
パラメータ空間の境界における分散を小さくする勾配推定器 textitbitflip-1 を提案する。
論文 参考訳（メタデータ） (2022-08-12T05:37:52Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。