論文の概要: The Evolution Strategies Paradox: Better Models from Worse Perturbations

• arxiv url: http://arxiv.org/abs/2611.04113v1
• Date: Tue, 03 Nov 2026 00:39:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-11 01:52:03.084506
• Title: The Evolution Strategies Paradox: Better Models from Worse Perturbations
• Title（参考訳）: 進化戦略のパラドックス - 最悪の摂動によるモデルの改善
• Abstract要約: 本稿では,このパラドックスを特徴づけ,ES推定器の局所的な報酬景観と特性がどのように寄与するかを考察する。 この結果は、雑音と曲率の原理的な相互作用がパラドックスを効果的な最適化の副産物として生み出す、新しい最適化パラダイムと見なすことができる。
• 参考スコア（独自算出の注目度）: 12.956323729428766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How is it possible for perturbation-based methods like Evolution Strategies (ES) to optimize billion-parameter large language models (LLMs)? Classical search methods are highly dependent on finding good candidates within generated populations. However, when using ES to fine-tune LLMs, a phenomenon can occur where all offspring models consistently perform worse than the parent model, yet during training, the parent model consistently improves. This paradox occurs across models, tasks, and even modalities. This paper characterizes the paradox, then examines how the local reward landscape and properties of the ES estimator contribute to it: in high-dimensional spaces, exploration leads to worse performance, yet still highlights good directions; aggregating those directions then allows for making local improvements. The result can be seen as a new optimization paradigm where a principled interaction of noise and curvature produces the paradox as a byproduct of effective optimization. These findings provide guidance for taking advantage of perturbation-based methods in LLM fine-tuning and in high-dimensional optimization in general.
• Abstract（参考訳）: 数十億パラメータの大言語モデル(LLM)を最適化するEvolution Strategies(ES)のような摂動に基づく手法は、どのように可能か? 古典的な探索法は、生成された集団の中で良い候補を見つけることに大きく依存している。 しかし、ESを用いてLSMを微調整する場合、すべての子孫モデルが親モデルよりも一貫して悪化する現象が発生するが、トレーニング中は親モデルは一貫して改善される。 このパラドックスはモデル、タスク、さらにはモダリティにまたがって起こる。 このパラドックスを特徴づけ、次に、ES推定器の局所的な報酬景観と特性がそれにどのように寄与するかを考察する。高次元空間において、探索は性能を悪化させるが、それでも良い方向を強調し、これらの方向を集約することで局所的な改善を可能にする。 この結果は、雑音と曲率の原理的な相互作用がパラドックスを効果的な最適化の副産物として生み出す、新しい最適化パラダイムと見なすことができる。 これらの知見は, LLM微調整および高次元最適化における摂動に基づく手法の活用のためのガイダンスを提供する。

関連論文リスト

• Divergence Minimization Preference Optimization for Diffusion Model Alignment [66.31417479052774]
  Divergence Minimization Preference Optimization (DMPO) は、逆KL分散を最小化して拡散モデルを整列する原理的手法である。 DMPOは、異なるベースモデルとテストセットで既存のテクニックを一貫して上回り、適合させることができる。
  論文  参考訳（メタデータ） (2025-07-10T07:57:30Z)
• Align-Pro: A Principled Approach to Prompt Optimization for LLM Alignment [40.71270945505082]
  大規模言語モデル(LLM)は、様々な社会的および意思決定プロセスに統合されつつある。 人間のフィードバックからの強化学習(RLHF)のような従来の手法は、微調整モデルパラメータによるアライメントを実現する。 対照的に、迅速な最適化はLLMアライメントのためのRLHFの代替となる。
  論文  参考訳（メタデータ） (2025-01-07T03:14:39Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• A Particle-based Sparse Gaussian Process Optimizer [5.672919245950197]
  本稿では,下降の動的過程を利用した新しいスワム・スワムベースのフレームワークを提案する。 このアプローチの最大の利点は、降下を決定する前に現在の状態についてより深い探索を行うことである。
  論文  参考訳（メタデータ） (2022-11-26T09:06:15Z)
• On the Optimization Landscape of Maximum Mean Discrepancy [26.661542645011046]
  生成モデルは現実的な信号の生成に成功している。 確率関数は典型的にはこれらのモデルの多くで難解であるため、確率計算を避けるために「単純化」を行うのが一般的である。 特に、彼らが世界規模で非親密な目標を最小化できるのかは理解されていない。
  論文  参考訳（メタデータ） (2021-10-26T07:32:37Z)
• Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning [93.1435980666675]
  最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。 我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
  論文  参考訳（メタデータ） (2020-06-15T18:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。