論文の概要: AdaKP: Online Adaptive Knowledge-Point Selection for Reasoning-Oriented Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2607.24833v1
- Date: Thu, 23 Jul 2026 15:12:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.536434
- Title: AdaKP: Online Adaptive Knowledge-Point Selection for Reasoning-Oriented Reinforcement Learning
- Title（参考訳）: AdaKP:Reasoning-Oriented Reinforcement Learningのためのオンライン適応型知識ポイント選択
- Abstract要約: 本稿では,各問題のKPサブセットを再選択するオンラインセレクタであるAdaKPを紹介する。
中心となるエントロピープロキシは、それが引き起こす次のトーケンエントロピーの減少によってKPをスコアする。
AdaKPは、飛行前バリデーションゲートにコントリビュートする。
- 参考スコア（独自算出の注目度）: 4.055403731594967
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning with verifiable rewards is a powerful paradigm for eliciting reasoning in large language models, yet it suffers from severe reward sparsity on competition-level mathematics. A common remedy injects atomic knowledge points (KPs) - short natural-language hints distilled from gold solutions - into the prompt. Existing methods, however, either fix this selection once offline or merely scale the monolithic quantity of injected text, leaving untouched the most informative axis of choice: which subset of atomic KPs to inject, and when. We introduce AdaKP, an online selector that re-chooses each problem's KP subset over the course of RL training. At its core is an entropy proxy that scores a KP by the reduction in next-token entropy it induces - a single inexpensive forward pass, with a provable bound on its truncation bias - in place of expensive rollout-based estimation. Three lightweight mechanisms make this signal usable online: a momentum smoother that absorbs per-step noise, a retirement-and-revival manager that prunes weak KPs while preserving exploration, and an adaptive scheduler that front-loads re-evaluations into early training. AdaKP further contributes a pre-flight validation gate that certifies the proxy against a leave-one-out ground truth before any expensive run is launched, turning method-level risk into a falsifiable check. Realized as a fully additive fork of a standard DAPO+GRPO trainer with no optimizer changes, AdaKP improves over a strong static-selection baseline on all eight competition-mathematics benchmarks at negligible added cost, positioning online, validated KP-subset selection as a practical and as-yet under-explored axis for reasoning-oriented reinforcement learning.
- Abstract（参考訳）: 検証可能な報酬を伴う強化学習は、大きな言語モデルで推論を引き出すための強力なパラダイムである。
一般的な治療法は、金溶液から蒸留した短い自然言語のヒントである原子知識点(KP)をプロンプトに注入する。
しかし、既存の方法では、この選択を一度オフラインで修正するか、単に単体的なテキストのインジェクション量を拡大するだけで、どの原子KPのサブセットをインジェクションし、いつ、どのサブセットをインジェクトするかという、最も情報性の高い選択軸を残している。
本稿では,各問題のKPサブセットを再選択するオンラインセレクタであるAdaKPを紹介する。
コアとなるエントロピープロキシは、コストのかかるロールアウトベースの見積の代わりに、単一の安価なフォワードパスである次のトーンエントロピーの削減によってKPをスコアする。
3つの軽量なメカニズムにより、この信号をオンラインで利用できるようになる。ステップごとのノイズを吸収する運動量スムーズ、探査中に弱いKPを吐き出すリタイア・アンド・リバイバル・マネージャ、そして早期トレーニングに再評価をフロントロードする適応型スケジューラだ。
AdaKPはさらに、高価な実行が起動される前に、プロキシをオンアウトの真実に対して認証するプレフライト検証ゲートを提供し、メソッドレベルのリスクを偽造可能なチェックに変換する。
AdaKPは、最適化を伴わない標準DAPO+GRPOトレーナーの完全付加フォークとして実現され、8つの競合数学ベンチマークの強力な静的選択ベースラインを、無視可能な追加コストで改善し、オンラインで位置決めし、推論指向の強化学習のための実用的で実証されたKP-サブセット選択として検証された。
関連論文リスト
- Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning [58.088509347353465]
強化学習(Reinforcement Learning, RL)は、言語モデルトレーニングにおいて広く使われている。
我々は,このトレードオフに明確な統計的解釈を与えるゲーム理論の枠組みを提案する。
論文 参考訳（メタデータ） (2026-07-29T00:19:09Z) - PS-PPO: Prefix-Sampling PPO for Critic-Free RLHF [20.068789951726078]
ヒューマンフィードバックからの強化学習は、アクターの実践的な代替手段である。
既存の批判のないアプローチは、軌跡内の全てのトークンに対して一様に軌道レベルの学習信号を伝達する。
本稿では,RLHF に対する計算効率のよい批判的手法であるprefix-Sampling Proximal Policy Optimization (PS-PPO) を提案する。
論文 参考訳（メタデータ） (2026-06-29T04:04:32Z) - Beyond Penalizing Mistakes: Stabilizing Efficiency Training in Large Reasoning Models via Adaptive Correct-Only Rewards [33.82648880607807]
グループ相対政策最適化(GRPO)は、冗長性を減らすことを目的としている。
GRPOの群正規化は、誤った答えが連続的な長さのペナルティを受けるとき、異なる利点を生み出す。
両障害モードを確実に防止するために,ACOERを提案する。
論文 参考訳（メタデータ） (2026-06-21T23:27:12Z) - PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。
SFTはトークン単位で固定されたデモトークンに適合する。
凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
論文 参考訳（メタデータ） (2026-06-08T12:14:06Z) - Discrete Flow Matching for Offline-to-Online Reinforcement Learning [10.112779201155005]
DRIFTは、オフラインで事前訓練された連続時間マルコフ連鎖(CTMC)ポリシーを更新するオンラインの微調整手法である。
大規模離散的なアクション空間に対して、参照ポリシーロールアウトからサンプリングされたアクションの小さなサブセット上でアクターを更新する候補セット近似を導入する。
離散的動作RLタスクに対する実験により,本手法が全タスクに対して安定したオフライン-オンライン改善を実現することを示す。
論文 参考訳（メタデータ） (2026-05-12T16:44:02Z) - OPSD Compresses What RLVR Teaches: A Post-RL Compaction Stage for Reasoning Models [12.17078443900398]
RLVR(Reinforcement Learning with Verifiable Rewards)の代替として,オンライン自己蒸留(On-Policy Self-Distillation, OPSD)が最近登場した。
考察可能な数学的推論では、OPSDは補正機構よりも圧縮機構として最も確実に振る舞う。
論文 参考訳（メタデータ） (2026-05-07T13:04:34Z) - Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。
トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。
本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。
また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
論文 参考訳（メタデータ） (2026-04-14T18:19:54Z) - What If Consensus Lies? Selective-Complementary Reinforcement Learning at Test Time [57.533031432715084]
TTRL(Test-Time Reinforcement Learning)は、Large Language Models(LLM)が、ラベルのないテストストリームの推論能力を向上することを可能にする。
既存のTTRL法は、正の擬似ラベル戦略にのみ依存している。
本研究では,ラベル雑音増幅を効果的に緩和する堅牢なテスト時間強化学習フレームワークであるSCRLを提案する。
論文 参考訳（メタデータ） (2026-03-20T11:47:12Z) - Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。
既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。
本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
論文 参考訳（メタデータ） (2026-01-26T21:38:20Z) - SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。
離散選択問題を連続的な部分集合最適化フレームワークに変換する。
両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
論文 参考訳（メタデータ） (2025-02-14T12:35:21Z) - Proposal Distribution Calibration for Few-Shot Object Detection [65.19808035019031]
few-shot object detection (FSOD)では、重度のサンプル不均衡を軽減するために、2段階の訓練パラダイムが広く採用されている。
残念ながら、極端なデータ不足は、提案の分布バイアスを増大させ、RoIヘッドが新しいクラスに進化するのを妨げます。
本稿では,RoIヘッドのローカライゼーションと分類能力を高めるために,単純かつ効果的な提案分布キャリブレーション(PDC)手法を提案する。
論文 参考訳（メタデータ） (2022-12-15T05:09:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。