論文の概要: Reward-Aware Population Scaling of Evolutionary Strategies in LLM Fine-Tuning
- arxiv url: http://arxiv.org/abs/2607.19408v1
- Date: Wed, 08 Jul 2026 00:19:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.15328
- Title: Reward-Aware Population Scaling of Evolutionary Strategies in LLM Fine-Tuning
- Title（参考訳）: LLMファインチューニングにおける進化的戦略の逆向き集団スケーリング
- Abstract要約: 微調整された大きな言語モデルのための進化的戦略は、メモリ効率が高く、並列であり、ブラックボックスや離散的な報酬と互換性があるため、魅力的である。
クロスエントロピー報酬による微調整は、N=1$で成功するが、バイナリ・リワードトレーニングは、しばしば30$で終わる。
このギャップは、主に報酬設計と正規化であり、人口規模ではないことを示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Using Evolutionary Strategies (ES) for fine-tuning large language models is attractive because it is memory-efficient, parallel, and compatible with black-box or discrete rewards. Yet its population-size conclusions conflict sharply: fine-tuning with cross-entropy (CE) reward succeeds with $N=1$, while binary-reward training often needs $N \approx 30$. We show this gap is largely about reward design and normalization, not population size. In the capable-model regime we study, z-score advantage normalization can cause $N=2$ to fail. Disabling normalization lets binary-reward ES with $N=2$ improve on GSM8K and TREC across capable models spanning 0.5B-7B, where the normalized variant collapses or degrades. This small-$N$ risk is set by reward granularity: binary accuracy reward induces a zero-advantage probability $q$ that depends in closed form on base accuracy, batch size, and intra-pair correctness correlation; a zero-training probe on Qwen2.5-Instruct/GSM8K matches the formula with mean absolute error 0.020 across 12 configurations and finds the availability threshold $N_{\mathrm{avail}}$ to be small in this capable-model regime. The implication is not that $N=2$ is universally sufficient, but that small-population failure in capable-model binary ES can be an implementation artifact rather than an intrinsic population limit.
- Abstract（参考訳）: 大規模な言語モデルを微調整するためにEvolutionary Strategies (ES)を使用するのは、メモリ効率が良く、並列であり、ブラックボックスや離散的な報酬と互換性があるため、魅力的である。
クロスエントロピー(CE)報酬による微調整は、N=1$で成功するが、バイナリ・リワードトレーニングは、しばしば$N \approx 30$で終わる。
このギャップは、主に報酬設計と正規化であり、人口規模ではないことを示している。
私たちが研究する有能モデル体系では、zスコアの有利な正規化は$N=2$の失敗を引き起こす。
無効な正規化により、GSM8KとTRECを0.5B-7Bにまたがる有能なモデルで2進法ESを$N=2$で改善し、正規化された変種が崩壊または劣化する。
バイナリ精度報酬はゼロアドバンテージ確率$q$を誘導し、ベース精度、バッチサイズ、ペア内正当性相関に依存する。 Qwen2.5-Instruct/GSM8K上のゼロトレーニングプローブは、12の構成で平均絶対誤差0.020と一致し、可用性しきい値$N_{\mathrm{avail}}$をこの有能なモデルで小さくする。
意味するところは、$N=2$が普遍的に十分であるわけではないが、有能モデルバイナリESにおける小さな集団失敗は、本質的な人口制限よりも実装アーティファクトである。
関連論文リスト
- Does 1/2-Tsallis-INF Also Work Well for Best-Arm Identification? [11.223878908981725]
1/2$-Tsallis-INFは、標準的なFTRLアルゴリズムである。
盗賊の対数的擬似回帰を達成しつつ、敵の盗賊の最小限の後悔を保ちながら達成する。
これは自然な疑問を提起する:同じアルゴリズムは、追加の探索なしに、最高の腕を確実に特定できるのか?
論文 参考訳（メタデータ） (2026-08-15T18:38:36Z) - Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。
自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。
我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
論文 参考訳（メタデータ） (2026-05-14T20:27:32Z) - Binary Rewards and Reinforcement Learning: Fundamental Challenges [7.106986689736826]
RLVRによる強化学習は、言語モデルにおける推論を改善するための標準的なアプローチとなっている。
二項報酬の性質を基礎としたこの現象の構造的説明を提供する。
論文 参考訳（メタデータ） (2026-05-04T09:17:26Z) - Bayesian Modeling of Collatz Stopping Times: A Probabilistic Machine Learning Perspective [0.0]
経験的に、$(n)$ はスキュー数で非常に分散した数であり、算術的不均一性を示す。
我々は2つの補完モデルを開発する。
奇ブロック分解に基づく機械論的近似は、ディリクレ・マルチノミカル更新による校正近似をもたらす。
ホールドアウトデータでは、NB2-GLMは奇ブロック発生器よりも予測確率がかなり高い。
論文 参考訳（メタデータ） (2026-03-04T17:16:49Z) - Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。
本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
論文 参考訳（メタデータ） (2025-12-31T12:08:29Z) - Evolution Strategies at the Hyperscale [57.75314521465674]
本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。
ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。
EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
論文 参考訳（メタデータ） (2025-11-20T18:56:05Z) - Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification [50.717692060500696]
対数損失を伴う次のトーケン予測は自己回帰シーケンスモデリングの基盤となる。
次トーケン予測は、適度な誤差増幅を表す$C=tilde O(H)$を達成するために堅牢にすることができる。
C=e(log H)1-Omega(1)$。
論文 参考訳（メタデータ） (2025-02-18T02:52:00Z) - Stable Minima Cannot Overfit in Univariate ReLU Networks: Generalization by Large Step Sizes [29.466981306355066]
固定学習率$eta$の勾配降下はスムーズな関数を表す局所最小値しか見つからないことを示す。
また、$n$のデータポイントのサポートの厳密な内部で、$widetildeO(n-4/5)$のほぼ最適MSE境界を証明します。
論文 参考訳（メタデータ） (2024-06-10T22:57:27Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Feature Learning in $L_{2}$-regularized DNNs: Attraction/Repulsion and
Sparsity [9.077741848403791]
パラメータの損失は、トレーニングセットの層単位でのアクティベーション$Z_ell$の損失に再計算可能であることを示す。
この改革は、機能学習の背景にあるダイナミクスを明らかにします。
論文 参考訳（メタデータ） (2022-05-31T14:10:15Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - Curse of Dimensionality on Randomized Smoothing for Certifiable
Robustness [151.67113334248464]
我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。
我々はCIFARに関する実験結果を示し,その理論を検証した。
論文 参考訳（メタデータ） (2020-02-08T22:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。