論文の概要: Hyper-ES: Effective Evolution Strategies for LLM Reasoning via Descent Direction Merging

• arxiv url: http://arxiv.org/abs/2608.05541v1
• Date: Thu, 06 Aug 2026 02:39:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.693067
• Title: Hyper-ES: Effective Evolution Strategies for LLM Reasoning via Descent Direction Merging
• Title（参考訳）: Hyper-ES:Descent Direction MergingによるLDM推論のための効果的な進化戦略
• Abstract要約: 進化戦略(ES)は、リソース制約付き大規模言語モデル(LLM)推論のための勾配に基づく微調整に代わる有望な代替手段である。 本稿では,全パラメータ探索におけるESの弱点を回避するサブスペースベースのESフレームワークであるHyper-ESを提案する。 Qwen2.5-InstructとDeepSeek-R1-Distillのバックボーンを6つの数学的推論データセットで評価した。
• 参考スコア（独自算出の注目度）: 24.37282483926828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evolution Strategy (ES) is a promising alternative to gradient-based fine-tuning for resource-constrained Large Language Model (LLM) reasoning. However, directly applying ES to billion-parameter LLMs is highly ineffective. In such high-dimensional parameter spaces, most random perturbations are nearly orthogonal to useful update directions, leading to unstable optimization. We propose Hyper-ES, a subspace-based ES framework that avoids the weakness of ES in full-parameter search while exploiting its strength in low-dimensional optimization. Instead of asking ES to discover useful directions from random perturbations in the LLM parameter space, Hyper-ES first performs a small number of inexpensive gradient-based fine-tuning runs to obtain descent directions. Although each direction may provide only a limited improvement on its own, their span forms a compact adaptation subspace that captures useful reasoning updates. Hyper-ES then applies CMA-ES to optimize layer-wise DARE-TIES merging coefficients within this subspace, allowing ES to search over combinations of meaningful descent directions rather than over arbitrary full-model perturbations. We evaluate Hyper-ES on three Qwen2.5-Instruct and DeepSeek-R1-Distill backbones across six mathematical reasoning datasets. Results show that Hyper-ES consistently outperforms GRPO-LoRA by 1% while requiring 10% fewer space-consuming gradient updates. Code at https://github.com/kuangrepi/Hyper-ES.
• Abstract（参考訳）: Evolution Strategy(ES)は、リソース制約付き大規模言語モデル(LLM)推論のための勾配に基づく微調整に代わる有望な代替手段である。 しかし、ESを10億パラメータのLSMに直接適用することは、非常に非効率である。 このような高次元パラメータ空間では、ほとんどのランダム摂動は有用な更新方向と直交し、不安定な最適化をもたらす。 低次元最適化における強みを生かしながら、全パラメータ探索におけるESの弱点を回避するサブスペースベースのESフレームワークであるHyper-ESを提案する。 LLMパラメータ空間のランダムな摂動から、ESに有用な方向を見つける代わりに、Hyper-ESは、降下方向を得るために、少数の安価な勾配に基づく微調整を実行する。 それぞれの方向は限定的な改善しか提供できないが、そのスパンはコンパクトな適応部分空間を形成し、有用な推論更新をキャプチャする。 Hyper-ES は CMA-ES を用いて、この部分空間内でのDARE-TIES の結合係数を最適化し、ES は任意のフルモデル摂動よりも有意な降下方向の組み合わせを探索することができる。 Qwen2.5-InstructとDeepSeek-R1-Distillのバックボーンを6つの数学的推論データセットで評価した。 その結果, Hyper-ES は GRPO-LoRA を 1% 上回っている一方で, 空間消費の勾配更新を10% 削減していることがわかった。 コードネームはhttps://github.com/kuangrepi/Hyper-ES。

関連論文リスト

• Rethinking Language Model Scaling under Transferable Hypersphere Optimization [67.38433364607897]
  モデル幅、深さ、トレーニングトークン、エキスパート・オブ・エキスパート(MoE)間で最適な学習率を転送する最初のフレームワークであるHyperPを紹介します。 単一のベースレートでHyperPの計算予算をまたいだデータ転送を調整し、強力な Muon ベースラインを 6times1021$ FLOPs で1.58 タイムで達成した。 また、超球面制約から派生したMoEゲーティング機構であるSqrtGateを提案し、MoEの粒度にわたって出力RMSを保存する。
  論文  参考訳（メタデータ） (2026-03-30T17:51:47Z)
• Reasoning as Gradient: Scaling MLE Agents Beyond Tree Search [29.662680998899294]
  我々は、勾配に基づく最適化を運用するMLEエージェントであるtextscGomeを紹介する。 textscGomeは、MLE-Bench上での最先端の35.1%の医療率を実現し、単一のV100 GPU上では12時間の予算が制限されている。
  論文  参考訳（メタデータ） (2026-03-02T10:22:47Z)
• Merging Beyond: Streaming LLM Updates via Activation-Guided Rotations [55.047454145941366]
  Streaming Mergingは、反復最適化プロセスとしてマージを概念化する革新的なモデル更新パラダイムである。 ARMは勾配勾配勾配のダイナミクスを近似するために設計された戦略である。 ARMは初期のSFTチェックポイントしか必要とせず、反復的なマージによって完全に収束したSFTモデルを上回る。
  論文  参考訳（メタデータ） (2026-02-03T08:15:57Z)
• GeoRA: Geometry-Aware Low-Rank Adaptation for RLVR [10.820638016337869]
  RL更新部分空間の異方性と圧縮性を利用したGeoRAを提案する。 GeoRAは、幾何学的ミスアライメントによる最適化ボトルネックを緩和する。 主要な数学ベンチマークで確立された低ランクのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-01-14T10:41:34Z)
• Evolution Strategies at the Hyperscale [57.75314521465674]
  本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。 ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。 EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
  論文  参考訳（メタデータ） (2025-11-20T18:56:05Z)
• ESSA: Evolutionary Strategies for Scalable Alignment [8.418036456622158]
  我々は,前向き推論とブラックボックス最適化のみを用いて,Large Language Models (LLM) を整列する勾配のないフレームワークであるESSAを提案する。 ESSAはQwen2.5-Math-7Bのテスト精度をGSM8Kで12.6%、PRM800Kで14.8%改善し、IFEvalでLLaMA3.1-8Bの精度を22.5%向上させた。 大規模な設定では、ESSAは勾配ベースの方法よりもスケーリングが強い。
  論文  参考訳（メタデータ） (2025-07-06T16:23:07Z)
• Optuna vs Code Llama: Are LLMs a New Paradigm for Hyperparameter Tuning? [45.58422897857411]
  この研究は、LoRAを用いてパラメータ効率の良いCode Llamaを微調整することで、ハイパーパラメータ最適化のための大規模言語モデル(LLM)の使用について検討する。 提案手法は,計算オーバーヘッドを大幅に削減しつつ,競合的あるいは優れたRoot Mean Square Error(RMSE)を実現する。 その結果,LLMに基づく最適化によって,木構造型パーゼンエミュレータ (TPE) のようなベイズ的手法が確立されただけでなく,知覚品質と低レイテンシ処理を必要とする実世界のアプリケーションへのチューニングが高速化された。
  論文  参考訳（メタデータ） (2025-04-08T13:15:47Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Scalable One-Pass Optimisation of High-Dimensional Weight-Update Hyperparameters by Implicit Differentiation [0.0]
  近似的過勾配型ハイパーパラメータオプティマイザを開発した。 トレーニングは1回のみであり、再スタートは行わない。 また、真の過次性への収束を動機づける議論も提供する。
  論文  参考訳（メタデータ） (2021-10-20T09:57:57Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Gradient-based Hyperparameter Optimization Over Long Horizons [2.28438857884398]
  Forward-mode differentiation with Share (FDS) は、メモリスケーリング問題に前-mode differentiationで対処する単純かつ効率的なアルゴリズムである。 我々は,非ローリング最適化の$sim 104$グラデーションステップを微分することで,その効率を実証的に示す。
  論文  参考訳（メタデータ） (2020-07-15T17:44:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。