論文の概要: Measuring and Mitigating Solution Mode Collapse in RLVR

• arxiv url: http://arxiv.org/abs/2610.11064v1
• Date: Thu, 08 Oct 2026 01:25:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.721876
• Title: Measuring and Mitigating Solution Mode Collapse in RLVR
• Title（参考訳）: RLVRにおける解モード崩壊の測定と緩和
• Abstract要約: 検証可能な報酬(RLVR)による強化学習は、モデルが生成する正しい回答に無関心である。 RLVRのポストトレーニングでは、精度が向上しても、精度が低いモードに確率を集中させることが示される。 次に、我々のソリューションであるRe:Maxを紹介します。これは、検出されたモード毎に1つの検証済みの例をリプレイバッファに格納し、それらの保存されたモードを均一にトレーニングします。
• 参考スコア（独自算出の注目度）: 5.877877730994512
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A language model (LM) can usually answer the same question in more than one way, but reinforcement learning with verifiable rewards (RLVR) is indifferent to which correct answer a model produces. A solution will earn the same reward whether it is the thousandth copy of a familiar answer or one the model has never produced before. Yet, there is potential value in having the model retain multiple correct solutions as it is trained. For instance, multiple modes may give users a choice and provide problem-solving strategies that improve overall model performance. Here, we introduce ModeBench, a benchmark of multi-solution tasks in which the verifier returns both correctness and mode discovered. We then use ModeBench to measure how solution diversity changes under RLVR post-training. We find that RLVR post-training concentrates probability onto fewer correct modes even as accuracy holds or improves, and moreover, that frontier models are already highly concentrated. We then introduce our solution, Re:Max, which stores one verified example per discovered mode in a replay buffer and trains on those stored modes uniformly. A solution found once is, therefore, practiced as often as one found repeatedly. Across three model scales, two RL objectives, and harder task constructions, replay improves both how often a policy succeeds and how many different ways it can succeed.
• Abstract（参考訳）: 言語モデル(LM)は、通常、複数の方法で同じ質問に答えることができるが、検証可能な報酬(RLVR)による強化学習は、モデルが生成する正しい答えに無関心である。 ソリューションは、慣れ親しんだ回答の1000番目のコピーであろうと、モデルがこれまで作ったことのないものであろうと、同じ報酬を得る。 しかし、モデルがトレーニングされたままに複数の正しいソリューションを保持することには潜在的な価値がある。 例えば、複数のモードはユーザーに選択肢を与え、全体的なモデルパフォーマンスを改善するための問題解決戦略を提供するかもしれない。 ここでは、検証器が検出した正当性とモードの両方を返すマルチソリューションタスクのベンチマークであるModeBenchを紹介する。 次に、ModeBenchを使用して、RLVR後トレーニングの下でソリューションの多様性がどのように変化するかを測定します。 RLVRのポストトレーニングでは、精度が向上しても、精度が低いモードに確率を集中し、フロンティアモデルがすでに高度に集中していることが分かる。 次に、我々のソリューションであるRe:Maxを紹介します。これは、検出されたモード毎に1つの検証済みの例をリプレイバッファに格納し、それらの保存されたモードを均一にトレーニングします。 したがって、一度見いだされた解は、繰り返し見いだされた解と同じ頻度で実践される。 3つのモデルスケール、2つのRL目標、より難しいタスク構成、リプレイは、ポリシーの成功頻度と、それが成功するさまざまな方法の両方を改善します。

関連論文リスト

• Reaching Beyond the Mode: RL for Distributional Reasoning in Language Models [78.68818219506313]
  本稿では,複数解に対する分布推論を行うための多解補足学習手法について述べる。 質問応答, 診断, コーディングベンチマークを通じて, 単一回答学習ベースラインと比較して, 多様性, カバレッジ, 設定レベルの校正スコアが向上した。
  論文  参考訳（メタデータ） (2026-03-25T22:20:25Z)
• What Can You Do When You Have Zero Rewards During RL? [3.0795668932789515]
  結果に基づく報酬を伴う強化学習(RL)は、複雑な推論タスクにおいて大きな言語モデル(LLM)を改善するのに有効であることが証明されている。 本稿では,Bachmann et al. (2024) で導入されたグラフ検索タスクを通じて,このシナリオを検証し,望ましいコンポーネントを組み込んだ最近の手法を評価する。 トレーニングセットに簡単なサンプルを追加するという単純なデータ中心の介入によって、報酬のゼロから始まるにもかかわらず、モデルが最終的に元のハードタスクを解決できることが分かりました。
  論文  参考訳（メタデータ） (2025-10-04T23:10:38Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [57.56453588632619]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)
• The Majority is not always right: RL training for solution aggregation [53.1050856072799]
  我々はアグリゲータモデルをトレーニングし、最終的な正解をレビューし、精査し、合成する。 重要な要素は、簡単なトレーニング例と厳しいトレーニング例のバランスを取ることだ。 我々の手法であるAggLMは、強いルールベースと報酬モデルベースラインの両方を上回ります。
  論文  参考訳（メタデータ） (2025-09-08T16:39:38Z)
• A Simple "Try Again" Can Elicit Multi-Turn LLM Reasoning [58.80217284841095]
  マルチターン問題解決は、大規模な推論モデル(LRM)が彼らの推論を反映し、フィードバックから修正する上で非常に難しい。 既存の強化学習(RL)手法は、検証可能な報酬で1ターンのパラダイム上で大きな推論モデルを訓練する。 我々は,反復的問題解決において,最小限の単一ユーザフィードバックを利用する強化学習のためのUnary Feedback as Observation (UFO)を紹介した。
  論文  参考訳（メタデータ） (2025-07-18T18:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。