論文の概要: DART-ES: Difficulty-Aware Reweighting and Targeted Replay for Fine-Tuning LLMs with Evolution Strategies

• arxiv url: http://arxiv.org/abs/2610.06993v1
• Date: Sun, 04 Oct 2026 07:42:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.498107
• Title: DART-ES: Difficulty-Aware Reweighting and Targeted Replay for Fine-Tuning LLMs with Evolution Strategies
• Title（参考訳）: DART-ES:進化戦略による微調整LDMのための難易度認識リウェイトとターゲットリプレイ
• Abstract要約: DART-ES(Dult-Aware Reweighting and Targeted Replay for Evolution Strategies)を提案する。 DART-ESは、摂動人口の通過速度から各問題の局所的可解性を推定し、歴史的観測を集約して動的困難状態を構築する。 大規模な実験により、DART-ESは優れた微調整性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 25.34949342965352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evolution Strategies (ES) enable memory efficient full parameter fine-tuning of large language models (LLMs) using only forward computation. However, standard ES uniformly averages rewards across problems and compresses problem level population feedback into a single scalar, making it difficult to capture how the learning value of each problem changes with model capability. To address this limitation, we propose Difficulty-Aware Reweighting and Targeted Replay for Evolution Strategies (DART-ES). DART-ES estimates the local solvability of each problem from its pass rate across the perturbation population and aggregates historical observations to construct a dynamic difficulty state. This shared state jointly guides continuous difficulty reweighting and rare solvable sample replay, thereby improving perturbation direction evaluation and training data allocation without introducing an additional difficulty model or backpropagation. Extensive experiments show that DART-ES achieves good fine-tuning performance. DART-ES outperforms ES on all five base models and improves the average accuracy from 72.07\% to 73.53\%, exceeding the 73.26\% achieved by GRPO on GSM8K. Across five challenging mathematical reasoning benchmarks, DART-ES achieves an average accuracy of 49.20\%, compared with 48.34\% for ES and remains competitive with strong 7B models trained with RL. Further experiments show consistent gains in instruction tuning, code generation and the Countdown task with a 14B model, demonstrating strong generalization across tasks and scalability to larger models. Beyond performance gains, DART-ES also shows clear advantages in system efficiency. It reduces runtime per step by 15.2\%--50.2\% and peak memory usage per GPU by 21.1\%--51.1\% compared with GRPO. Despite performing full parameter fine-tuning, DART-ES also requires less runtime and GPU memory than GRPO+LoRA.
• Abstract（参考訳）: Evolution Strategies (ES) は、大きな言語モデル(LLM)のメモリ効率の良いフルパラメータ微調整を可能にする。 しかし、標準ESは問題全体の報酬を均一に平均化し、問題レベルの集団フィードバックを1つのスカラーに圧縮することで、各問題の学習価値がモデル能力によってどのように変化するかを把握することは困難である。 この制限に対処するため,DART-ES(Dulticulty-Aware Reweighting and Targeted Replay for Evolution Strategies)を提案する。 DART-ESは、摂動人口の通過速度から各問題の局所的可解性を推定し、歴史的観測を集約して動的困難状態を構築する。 この共有状態は、継続的な難易度調整と希少な可溶性サンプル再生を共同でガイドし、さらなる難易度モデルや逆伝播を導入することなく、摂動方向の評価及びトレーニングデータアロケーションを改善する。 大規模な実験により、DART-ESは優れた微調整性能を発揮することが示された。 DART-ESは5つのベースモデルでESを上回り、平均精度を72.07\%から73.53\%に改善し、GRPOがGSM8Kで達成した73.26\%を上回った。 5つの挑戦的な数学的推論ベンチマークの中で、DART-ESの平均精度は49.20\%であり、ESは48.34\%であり、RLで訓練された強力な7Bモデルと競合する。 さらなる実験では、命令チューニング、コード生成、14Bモデルによるカウントダウンタスクにおいて一貫した利得を示し、タスク間の強力な一般化とより大きなモデルへのスケーラビリティを示す。 性能向上以外にも、DART-ESはシステムの効率性にも明確な利点がある。 GRPOと比較して、ステップ当たりのランタイムを15.2\%--50.2\%削減し、GPUあたりのピークメモリ使用量を21.1\%--51.1\%削減する。 DART-ESは完全なパラメータの微調整を行うが、GRPO+LoRAよりもランタイムとGPUメモリを少なくする必要がある。

関連論文リスト

• AdaptiveLoad: Towards Efficient Video Diffusion Transformer Training [20.685495573513666]
  大規模なビデオ拡散変換器(DiTやMMDiTなど)の訓練は、重要な計算課題となっている。 既存のバケットベースのデータローディング戦略は、“同じトークン長”の制約に依存している。 本稿では,2つのコアコンポーネントからなる統合フレームワークであるtextitLoadを提案する。
  論文  参考訳（メタデータ） (2026-05-18T06:30:31Z)
• Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
  プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。 本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。 本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T09:00:30Z)
• STAR: Semantic-Tuned and Tail-Adaptive Retriever for Graph-Augmented Generation [69.66045538889777]
  本稿では,GraphRAGのためのセマンティックチューニングとテール適応型レトリバーSTARを提案する。 STARは一貫してベースラインを上回り、平均検索性能は1.8%向上した。
  論文  参考訳（メタデータ） (2026-04-11T10:16:51Z)
• DARO: Difficulty-Aware Reweighting Policy Optimization [18.07946696398167]
  RLVR(Reinforcement Learning with Verifiable Rewards)の事実上のアプローチとしてグループ相対政策最適化(GRPO)が登場した。 サンプルの難易度に結びついた静的あるいは過度に単純化された重み付けスキームへの依存が、モデルの進化する機能への適応を妨げていることを示す統一ビューを提供する。 本稿では,bfbfDifficulty-Aware Reweighting Policy Optimization (DARO)を紹介する。
  論文  参考訳（メタデータ） (2025-10-10T04:57:15Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization [17.149024413701014]
  Klear-Reasonerは、長い推論能力を持つモデルで、問題解決時に慎重に検討する。 本報告では、学習後のワークフロー全体を網羅した推論モデルの詳細分析を行う。
  論文  参考訳（メタデータ） (2025-08-11T05:17:51Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• GDeR: Safeguarding Efficiency, Balancing, and Robustness via Prototypical Graph Pruning [44.401418612374286]
  トレーニング可能なプロトタイプを用いて,プロセス中のトレーニングを更新するための新しいソフトプルーニング手法であるGDeRを導入する。 GDeRは、トレーニングサンプルの30%削減で、完全なデータセットのパフォーマンスを達成または上回る。 また、不均衡なトレーニングやノイズの多いトレーニングシナリオにおいて、最先端のプルーニング手法よりも優れています。
  論文  参考訳（メタデータ） (2024-10-17T16:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。