論文の概要: Unearthing Gems from Stones: Policy Optimization with Negative Sample Augmentation for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2505.14403v4
• Date: Mon, 15 Sep 2025 14:23:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 15:23:16.148651
• Title: Unearthing Gems from Stones: Policy Optimization with Negative Sample Augmentation for LLM Reasoning
• Title（参考訳）: 石から未発見の宝石:LLM推論のための負のサンプル拡張による政策最適化
• Authors: Zhaohui Yang, Yuxiao Ye, Shilei Jiang, Chen Hu, Linjing Li, Shihong Deng, Daxin Jiang,
• Abstract要約: 負のサンプル拡張(BCPG-NSA)による行動制約付きポリシーのグラディエントを提案する。 BCPG-NSA は,1) サンプルセグメンテーション,2) LLM と PRM を併用した合意に基づくステップ正当性評価,3) 正のステップを負のサンプル内で効果的にマイニングするNSA とのポリシー最適化の3段階を含む,詳細なオフラインフレームワークである。 実験の結果、BCPG-NSAは、同じトレーニングデータセットを使用して、いくつかの挑戦的な数学/コーディング推論ベンチマークのベースラインよりも優れていた。
• 参考スコア（独自算出の注目度）: 41.83677588934301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in reasoning language models have witnessed a paradigm shift from short to long CoT pattern. Given the substantial computational cost of rollouts in long CoT models, maximizing the utility of fixed training datasets becomes crucial. Our analysis reveals that negative responses contain valuable components such as self-reflection and error-correction steps, yet primary existing methods either completely discard negative samples (RFT) or apply equal penalization across all tokens (RL), failing to leverage these potential learning signals. In light of this, we propose Behavior Constrained Policy Gradient with Negative Sample Augmentation (BCPG-NSA), a fine-grained offline RL framework that encompasses three stages: 1) sample segmentation, 2) consensus-based step correctness assessment combining LLM and PRM judgers, and 3) policy optimization with NSA designed to effectively mine positive steps within negative samples. Experimental results show that BCPG-NSA outperforms baselines on several challenging math/coding reasoning benchmarks using the same training dataset, achieving improved sample efficiency and demonstrating robustness and scalability when extended to multiple iterations.
• Abstract（参考訳）: 推論言語モデルの最近の進歩は、短いCoTパターンから長いCoTパターンへのパラダイムシフトを目撃している。 長いCoTモデルにおけるロールアウトのかなりの計算コストを考えると、固定トレーニングデータセットの有用性を最大化することが重要である。 分析の結果, 自己回帰や誤り訂正ステップなどの付加価値成分を負の応答として含むことが明らかとなったが, 既存の手法では正のサンプル(RFT)を完全に破棄するか, すべてのトークン(RL)に等額のペナル化を適用し, 潜在的な学習信号の活用に失敗した。 これを踏まえ、我々は3つの段階を含む詳細なオフラインRLフレームワークであるBCPG-NSA(Behavior Constrained Policy Gradient with Negative Sample Augmentation)を提案する。 1)サンプルセグメンテーション 2) LLM と PRM を併用したコンセンサスに基づくステップ正当性評価,及び 3) NSAによる政策最適化は、正のステップを負のサンプル内で効果的にマイニングするように設計されている。 実験結果から、BCPG-NSAは、同じトレーニングデータセットを使用して、いくつかの難しい数学/コーディング推論ベンチマークのベースラインを上回り、サンプル効率を改善し、複数のイテレーションに拡張した場合の堅牢性とスケーラビリティを実証した。

関連論文リスト

• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• Improving LLM-based Recommendation with Self-Hard Negatives from Intermediate Layers [80.55429742713623]
  ILRecはLLMベースのレコメンデーションシステムのための新しい好みの微調整フレームワークである。 負の信号に対してトークンレベルの報酬を割り当てるための軽量な協調フィルタリングモデルを提案する。 3つのデータセットの実験は、LLMベースのレコメンデータシステムの性能向上におけるILRecの有効性を示している。
  論文  参考訳（メタデータ） (2026-02-19T14:37:43Z)
• GDEPO: Group Dual-dynamic and Equal-right-advantage Policy Optimization with Enhanced Training Data Utilization for Sample-Constrained Reinforcement Learning [14.111530312590531]
  ATP(Automated Theorem Proving)は人工知能(AI)の基本課題である 我々はGDEPO(Group Dual-dynamic and Equal-right-Advantage Policy Optimization)を提案する。 GDEPOには3つのコアメカニズムがある: 1) 有効証明が見つかるまで無効なバッチを再サンプリングする動的追加サンプリング、2) 優位関数の符号をその大きさ(補助的な報酬によって変調される)から切り離して安定かつ正しいポリシー更新を保証する、3) 動的追加イテレーション、そして、最初は失敗するが、最終的にはサンプルを成功させ、挑戦的なケースでの学習を加速する。
  論文  参考訳（メタデータ） (2026-01-11T07:34:41Z)
• VADE: Variance-Aware Dynamic Sampling via Online Sample-Level Difficulty Estimation for Multimodal RL [38.782188833641676]
  GRPOやGSPOのようなグループベースのポリシー最適化手法は、マルチモーダルモデルのトレーニングの標準となっている。 グループ内のすべての応答が同じ報酬を受けると、それらは致命的な急激な消滅問題に悩まされる。 textbfVADEは,オンラインサンプルレベルの難易度を用いたサンプリングフレームワークである。
  論文  参考訳（メタデータ） (2025-11-24T08:59:54Z)
• ASPO: Asymmetric Importance Sampling Policy Optimization [31.38346888572171]
  ポジティブアドバンテージトークンのImportance Smpling(IS)比は不一致であり、正および負のトークンに対するアンバランストークン重み付けにつながる。 このミスマッチは、既に高確率のトークンを過剰に増幅しながら、低確率トークンの更新を抑制する。 我々は,IS比の正アドバンテージトークンを反転させるシンプルかつ効果的な戦略を用いた非対称的重要度サンプリングポリシー最適化(ASPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-07T15:54:24Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• Dissecting Long Reasoning Models: An Empirical Study [94.31064312707211]
  強化学習(RL)における正・負のサンプルの役割を系統的に分析する。 グループ相対的政策最適化において、サンプルの半数以上がゼロの優位性を持つような実質的なデータ非効率性を同定する。 本研究では,様々な推論モデルとベンチマークの不安定な性能について検討し,不明瞭な結果を伴う不確実な問題に対する不安定性について考察した。
  論文  参考訳（メタデータ） (2025-06-05T11:47:10Z)
• Trajectory Bellman Residual Minimization: A Simple Value-Based Method for LLM Reasoning [55.33984461046492]
  現在、政策に基づく手法が大規模言語モデル(LLM)推論のための強化学習パイプラインを支配している。 本稿では,このアイデアを LLM に自然に適応させるアルゴリズムである Trajectory Bellman Residual Minimization (TBRM) を紹介する。 我々は、軌道の軌道変更-測度分析の改善により、任意のオフ政治から、最適に近いKL正規化政策への収束を証明した。
  論文  参考訳（メタデータ） (2025-05-21T09:41:53Z)
• Can LLM-Driven Hard Negative Sampling Empower Collaborative Filtering? Findings and Potentials [9.668242919588199]
  強い負のサンプルはモデル収束を加速し、決定境界を最適化する。 本稿ではセマンティックネガティブサンプリングの概念を紹介する。 協調信号によって制御される微調整LDMに基づくHNLMRecというフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-07T04:39:45Z)
• Tapered Off-Policy REINFORCE: Stable and efficient reinforcement learning for LLMs [15.806503459642665]
  強化学習を用いた大規模言語モデルの微調整のための新しいアルゴリズムを提案する。 オフ政治体制における正と負の例を適切に活用することで、テスト時間精度とトレーニングデータの効率が同時に向上することを示す。 この研究の結果として、REINFORCEのベースラインパラメータが、ネガティブな例の存在下でデータセット構成を定義する上で、重要かつ予期せぬ役割を担っていることが判明した。
  論文  参考訳（メタデータ） (2025-03-18T14:23:37Z)
• TRACT: Regression-Aware Fine-tuning Meets Chain-of-Thought Reasoning for LLM-as-a-Judge [59.57934574562651]
  TRACT(Two-stage Regression-Aware fine-tuning with CoT)は、CoT推論と回帰学習を組み合わせた手法である。 4つの LLM-as-a-judge データセットと2つの LLM データセットによる実験により、TRACT が既存の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2025-03-06T12:33:20Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [61.99353167168545]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking [50.81324768683995]
  FIRSTは、学習からランクへの目的を統合し、最初の生成されたトークンのみのロジットを活用する新しいアプローチである。 我々は、FIRSTの評価をTRECディープラーニングデータセット(DL19-22)に拡張し、様々な領域でその堅牢性を検証する。 我々の実験は、単一トークンの高速リランクは、ドメイン外リランクの品質を損なうものではないことを確認した。
  論文  参考訳（メタデータ） (2024-11-08T12:08:17Z)
• Finite-Time Convergence and Sample Complexity of Actor-Critic Multi-Objective Reinforcement Learning [20.491176017183044]
  本稿では多目的強化学習(MORL)問題に取り組む。 MOACと呼ばれる革新的なアクター批判アルゴリズムを導入し、競合する報酬信号間のトレードオフを反復的に行うことでポリシーを見出す。
  論文  参考訳（メタデータ） (2024-05-05T23:52:57Z)
• PLReMix: Combating Noisy Labels with Pseudo-Label Relaxed Contrastive Representation Learning [7.556169113399857]
  Pseudo-Label Relaxed (PLR) のコントラスト損失を導入することで、エンドツーエンドの textbfPLReMix フレームワークを提案する。 提案したPLR損失はプラガブルであり,他のLNL手法に統合し,その性能改善を観察した。
  論文  参考訳（メタデータ） (2024-02-27T15:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。