論文の概要: EliteReplay: Preserving Diverse Solutions in RL Post-Training via Quality-Diversity Search

• arxiv url: http://arxiv.org/abs/2610.22290v1
• Date: Thu, 15 Oct 2026 17:43:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.235354
• Title: EliteReplay: Preserving Diverse Solutions in RL Post-Training via Quality-Diversity Search
• Title（参考訳）: EliteReplay:品質多様性検索によるRLポストトライニングにおける分散ソリューションの保存
• Abstract要約: トレーニングは、モデルが生み出すソリューションの集合を狭めることができる。 品質多様性検索によって構築された「エリート」アーカイブとGRPOを組み合わせたポストトレーニングレシピであるEliteReplayを提案する。 EliteReplayはすべてのベースラインより高いパス@128を達成し、最強のベースラインよりも最大77%の正確な戦略を生成する。
• 参考スコア（独自算出の注目度）: 3.9588888503666104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning has become a common post-training technique to improve the accuracy of LLMs on verifiable tasks. However, such training can narrow the set of solutions the model can produce. Several approaches have attempted to address this behavior-sharpening effect, but they often optimize metrics that do not reflect the diversity of correct solutions. Ideally, we want a model that can produce multiple good solutions, not only a single reliable one. We propose EliteReplay, a post-training recipe that pairs GRPO with an "elite" archive built by quality-diversity search. Before training, we use the frozen base model to collect solutions that span distinct approaches; during training, GRPO is combined with a replay loss on this archive. The result is a post-trained model that improves accuracy while preserving more of the base model's solution diversity. On multiple text-to-SQL tasks, EliteReplay achieves a higher pass@128 than all baselines, producing up to 77% more distinct correct strategies than the strongest baselines. It preserves most of the base model's correct strategies, outperforming existing methods in strategy retention. This diversity translates into practical benefits on ambiguous questions, where EliteReplay covers both interpretations nearly twice as often as the strongest baseline on AmbiQT.
• Abstract（参考訳）: 強化学習は、検証可能なタスクにおけるLLMの精度を向上させるための訓練後の一般的なテクニックとなっている。 しかし、そのようなトレーニングは、モデルが生成できるソリューションの集合を狭める可能性がある。 この挙動抑制効果に対処するいくつかのアプローチが試みられているが、正しい解の多様性を反映しないメトリクスを最適化することが多い。 理想的には、1つの信頼できるソリューションだけでなく、複数の優れたソリューションを生み出すことができるモデルが欲しいのです。 品質多様性検索によって構築された「エリート」アーカイブとGRPOを組み合わせたポストトレーニングレシピであるEliteReplayを提案する。 トレーニングの前に、フリーズベースモデルを使用して、異なるアプローチにまたがるソリューションを収集します。 その結果、トレーニング後のモデルで、ベースモデルのソリューションの多様性をより高く保ちながら、精度を向上させる。 複数のテキスト-SQLタスクにおいて、EliteReplayはすべてのベースラインよりもパス@128が高く、最強のベースラインよりも最大77%正確な戦略を生成する。 ベースモデルの正しい戦略のほとんどを保存し、既存の戦略維持方法よりも優れています。 この多様性は曖昧な質問に対する実践的な利点に変換され、EliteReplayは両解釈をAmbiQTのベースラインの約2倍の頻度でカバーしている。

関連論文リスト

• Measuring and Mitigating Solution Mode Collapse in RLVR [5.877877730994512]
  検証可能な報酬(RLVR)による強化学習は、モデルが生成する正しい回答に無関心である。 RLVRのポストトレーニングでは、精度が向上しても、精度が低いモードに確率を集中させることが示される。 次に、我々のソリューションであるRe:Maxを紹介します。これは、検出されたモード毎に1つの検証済みの例をリプレイバッファに格納し、それらの保存されたモードを均一にトレーニングします。
  論文  参考訳（メタデータ） (2026-10-08T01:25:16Z)
• BRIDGE: Bilevel Retrieval-Credit-Aware Agentic Reinforcement Learning [59.49887982510668]
  検証可能な報酬を持つエージェント強化学習(ARL)は、知識集約的なタスクに対処する大規模言語モデル(LLM)の能力を向上させる。 本稿では,RLのロスランドスケープ解析と検索目的を動機とした,メモリ効率のよい一階二階法BRIDGEを紹介する。 3Bと7Bのバックボーンで最高の平均精度を達成し、最強のベースライン上でのマルチホップ平均をそれぞれ9.6と3.4のEMポイントで改善した。
  論文  参考訳（メタデータ） (2026-09-29T01:59:03Z)
• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Recovering Diversity Without Losing Alignment: A DPO Recipe for Post-Trained LLMs [26.527631359992125]
  我々は、異なる有効な回答モードを復元するためのオフラインDPOデータ構築パイプラインであるREDIPOを紹介した。 各プロンプトに対して、REDIPOは、ベースモデルとインストラクションモデルの両方からのレスポンスをサンプリングし、インストラクションモデルでベースモデルレスポンスを書き直し、安全性とインストラクションフォロー品質の候補をフィルタリングする。 Qwen3-4B、OLMo-3-7B、LLaMA-3.1-8Bの他、REDIPOはノベルティベンチのディファレンシャル_kを134%、33%、44%改善し、DivPOは多様性を0%、-6%、-4%改善した。
  論文  参考訳（メタデータ） (2026-05-28T14:42:18Z)
• What Can You Do When You Have Zero Rewards During RL? [3.0795668932789515]
  結果に基づく報酬を伴う強化学習(RL)は、複雑な推論タスクにおいて大きな言語モデル(LLM)を改善するのに有効であることが証明されている。 本稿では,Bachmann et al. (2024) で導入されたグラフ検索タスクを通じて,このシナリオを検証し,望ましいコンポーネントを組み込んだ最近の手法を評価する。 トレーニングセットに簡単なサンプルを追加するという単純なデータ中心の介入によって、報酬のゼロから始まるにもかかわらず、モデルが最終的に元のハードタスクを解決できることが分かりました。
  論文  参考訳（メタデータ） (2025-10-04T23:10:38Z)
• The Majority is not always right: RL training for solution aggregation [53.1050856072799]
  我々はアグリゲータモデルをトレーニングし、最終的な正解をレビューし、精査し、合成する。 重要な要素は、簡単なトレーニング例と厳しいトレーニング例のバランスを取ることだ。 我々の手法であるAggLMは、強いルールベースと報酬モデルベースラインの両方を上回ります。
  論文  参考訳（メタデータ） (2025-09-08T16:39:38Z)
• Self-Consistency Preference Optimization [79.37880123635405]
  自己整合性優先最適化(ScPO)を導入する。 ScPOは、教師なしの新たな問題に関して、一貫性のない答えよりも好まれる一貫性のある回答を反復的に訓練する。 ゼブラ論理では、ScPO fine Llamatunes-3 8Bは、Llama-3 70B、Gemma-2 27B、Claude-3 Haikuより優れている。
  論文  参考訳（メタデータ） (2024-11-06T18:36:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。