論文の概要: Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2509.24372v1
• Date: Mon, 29 Sep 2025 07:19:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.810943
• Title: Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement Learning
• Title（参考訳）: 大規模に展開する戦略 - 強化学習を超越したLLMファインチューニング
• Authors: Xin Qiu, Yulu Gan, Conor F. Hayes, Qiyao Liang, Elliot Meyerson, Babak Hodjat, Risto Miikkulainen,
• Abstract要約: 強化学習はおそらく最も顕著な微調整法である。 進化戦略(ES)はかつて、数百万のパラメータを持つモデルでRLに匹敵する性能を示した。 ESは数十億のパラメータを効率的に探索し、既存のRLファインチューニング手法より優れている。
• 参考スコア（独自算出の注目度）: 16.095629872564874
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning pre-trained large language models (LLMs) for down-stream tasks is a critical step in the AI deployment pipeline. Reinforcement learning (RL) is arguably the most prominent fine-tuning method, contributing to the birth of many state-of-the-art LLMs. In contrast, evolution strategies (ES), which once showed comparable performance to RL on models with a few million parameters, was neglected due to the pessimistic perception of its scalability to larger models. In this work, we report the first successful attempt to scale up ES for fine-tuning the full parameters of LLMs, showing the surprising fact that ES can search efficiently over billions of parameters and outperform existing RL fine-tuning methods in multiple respects, including sample efficiency, tolerance to long-horizon rewards, robustness to different base LLMs, less tendency to reward hacking, and more stable performance across runs. It therefore serves as a basis to unlock a new direction in LLM fine-tuning beyond what current RL techniques provide. The source codes are provided at: https://github.com/VsonicV/es-fine-tuning-paper.
• Abstract（参考訳）: ダウンストリームタスクのための微調整済みの大規模言語モデル(LLM)は、AIデプロイメントパイプラインにおける重要なステップである。 強化学習(Reinforcement Learning, RL)は、おそらく最も顕著な微調整法であり、多くの最先端のLSMの誕生に寄与している。 対照的に、数万のパラメータを持つモデルでRLに匹敵する性能を示した進化戦略(ES)は、より大きなモデルに対するスケーラビリティに対する悲観的な認識のために無視された。 本研究では,LSMの全パラメータを微調整するためにESのスケールアップに成功した最初の試みについて報告し,ESが数十億以上のパラメータを効率的に探索し,サンプル効率,長距離報酬に対する耐性,異なるベースLLMに対する堅牢性,報酬ハッキングの傾向の低下,実行中のパフォーマンスの向上など,既存のRL微調整手法よりも優れていることを示す。 したがって、現在のRL技術が提供するもの以上の、LLMファインチューニングにおける新しい方向をアンロックするための基盤となる。 ソースコードは以下の通り:https://github.com/VsonicV/es-fine-tuning-paper。

関連論文リスト

• Reinforcement Learning Fine-Tuning Enhances Activation Intensity and Diversity in the Internal Circuitry of LLMs [13.036236161537147]
  大規模言語モデル(LLM)は、大規模な事前学習を通じて広範囲の事前知識を取得し、教師付き微調整(SFT)や強化学習(RL)ベースの後訓練によってさらに強化することができる。 RL微細調整は、SFT単独で達成した以上のLLMの能力を向上することを示す証拠が増えている。 しかし、RL微調整が固有の特性の異なる様々なLLMの能力を高めるメカニズムは未解明のままである。
  論文  参考訳（メタデータ） (2025-09-25T11:51:05Z)
• SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning [81.7764584515496]
  VLA(Vision-Language-Action)モデルは、ロボット操作の強力なパラダイムとして登場した。 これらのモデルは2つの根本的な課題に直面している。 VLAモデルに適した効率的な強化学習フレームワークであるSimpleVLA-RLを紹介する。
  論文  参考訳（メタデータ） (2025-09-11T17:59:17Z)
• LENSLLM: Unveiling Fine-Tuning Dynamics for LLM Selection [11.353302879735862]
  オープンソースのLarge Language Models (LLM) と様々な下流タスクは効率的なモデル選択を必要とする。 LLMの一般化能力を評価するための適切なレンズを提供する新しい理論フレームワークを提案する。 特に, LLMの微調整ダイナミクスを明らかにするPAC-Bayesian Generalization Boundを導出する。 次に,ニューラルタンジェントカーネル(NTK)をベースとしたRectified Scaling ModelであるLENSLLMを紹介し,正確な性能予測を実現する。
  論文  参考訳（メタデータ） (2025-05-01T15:07:32Z)
• Think or Not Think: A Study of Explicit Thinking in Rule-Based Visual Reinforcement Fine-Tuning [26.835266813794316]
  まず,MLLM画像分類のためのCRS-RLを提案する。 RFTにおける明示的な思考が常に必要かどうかを再考し、疑問を呈する。 No-Thinking-RL は単純な等式精度の報酬を導入することで、考えることなく RFT を探索する。
  論文  参考訳（メタデータ） (2025-03-20T14:37:45Z)
• On the Emergence of Thinking in LLMs I: Searching for the Right Intuition [34.32871896067864]
  自己学習による強化学習(RLSP)というポストトレーニングフレームワークを提案する。 RLSPは、推論プロセスの人間または合成的なデモンストレーションによる微調整、多種多様な効率的な推論行動を促進するための探索報酬信号の使用、報酬ハッキングを予防しながら正当性を確保するための結果検証器によるRLトレーニングの3段階を含む。 数学領域における実証的研究は、RLSPが推論を改善することを示している。
  論文  参考訳（メタデータ） (2025-02-10T18:52:04Z)
• ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL [80.10358123795946]
  大規模言語モデルを微調整するためのマルチターンRLアルゴリズムを構築するためのフレームワークを開発する。 我々のフレームワークは階層的なRLアプローチを採用し、2つのRLアルゴリズムを並列に実行している。 実験により,ArCHerはエージェントタスクの効率と性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-29T18:45:56Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
  そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。 動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。 本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
  論文  参考訳（メタデータ） (2023-10-13T07:38:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。