論文の概要: Flat-RLVR: Sharpness-Aware Reinforcement Learning with Verifiable Rewards for Reasoning Capacity in LLMs

• arxiv url: http://arxiv.org/abs/2610.29281v1
• Date: Wed, 21 Oct 2026 06:35:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.260279
• Title: Flat-RLVR: Sharpness-Aware Reinforcement Learning with Verifiable Rewards for Reasoning Capacity in LLMs
• Title（参考訳）: フラットRLVR: LLMにおけるリ共振能力検証によるシャープネスを考慮した強化学習
• Abstract要約: 検証可能な報酬(RLVR)による強化学習が,大規模言語モデル(LLM)のポストトレーニングの中心パラダイムとして浮上している。 理論的には、平坦な報酬RLVRを分布のシャープニングの低減に結び付け、単対流精度を維持しながら、サンプルの多様性を実証的に向上させる。 提案手法は,LLM後学習におけるシャープネス認識の最小化によりフラットな報酬領域を探索し,GRPO変種と組み合わせてサンプリング効率と推論能力のトレードオフを改善する。
• 参考スコア（独自算出の注目度）: 9.787793858206735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR), particularly through group-relative policy optimization (GRPO), has emerged as a central paradigm for the post-training of large language models (LLMs). While RLVR is highly effective at enhancing the reasoning capabilities of LLMs, it commonly induces \textit{distribution sharpening}, whereby the policy distribution becomes excessively peaked and rare-yet-correct trajectories are progressively suppressed, thus diminishing sample diversity. To this end, we promote flat-reward optima in RLVR to smooth the policy distribution. We theoretically link flat reward RLVR to reduced distribution sharpening, and empirically show improved sample diversity while maintaining single-attempt accuracy. Our method, called \texttt{Flat}-RLVR, searches for flat reward regions via sharpness-aware minimization during LLM post-training, combining this with GRPO variants to achieve better trade-offs between sampling efficiency and reasoning capacity.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)、特にグループ相対的政策最適化(GRPO)は、大規模言語モデル(LLM)のポストトレーニングにおける中心的なパラダイムとして現れている。 RLVRはLDMの推論能力を高めるのに非常に効果的であるが、一般的には'textit{distribution sharpening} を誘導する。 この目的のために、RLVRにおけるフラットリワード最適化を推進し、ポリシー分布の円滑化を図る。 理論的には、平坦な報酬RLVRを分布のシャープニングの低減に結び付け、単対流精度を維持しながら、サンプルの多様性を実証的に向上させる。 提案手法は,LLM後学習におけるシャープネスを意識した最小化により平坦な報酬領域を探索し,GRPO変種と組み合わせてサンプリング効率と推論能力のトレードオフを改善する。

関連論文リスト

• Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。 本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T08:22:21Z)
• CLIPO: Contrastive Learning in Policy Optimization Generalizes RLVR [10.821950260274066]
  RLVRによる強化学習は大規模言語モデル(LLM)の推論能力を大幅に向上させた。 プロセスに反するが結果の正しいロールアウトのトレーニングは、幻覚と回答コピーにつながる可能性がある。 RLVRプロセスの一般化のために,コントラスト学習機構を政策最適化(CLIPO)に組み込んだ。
  論文  参考訳（メタデータ） (2026-03-10T17:59:54Z)
• Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning [88.42566960813438]
  CalibRLは、制御可能な探索と専門家のガイダンスをサポートするハイブリッド政治RLVRフレームワークである。 CalibRLは政策エントロピーを誘導的に増加させ、目標分布を明らかにする。 ドメイン内設定とドメイン外設定の両方を含む8つのベンチマークの実験は、一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-02-22T07:23:36Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• PACR: Progressively Ascending Confidence Reward for LLM Reasoning [55.06373646059141]
  我々は、PACR(Progressive Ascending Confidence Reward)を提案する。 PACRは、正解に対するモデルの進化的信念から直接計算された、密集したモデル固有の報酬である。 以上の結果から,RLVRトレーニングはより効果的で信頼性が高いことが示唆された。
  論文  参考訳（メタデータ） (2025-10-25T11:25:35Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。