論文の概要: When Self-Belief Misleads: Active Label Acquisition for Reinforcement Learning with Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2605.25864v1
• Date: Mon, 25 May 2026 13:55:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.238013
• Title: When Self-Belief Misleads: Active Label Acquisition for Reinforcement Learning with Verifiable Rewards
• Title（参考訳）: 自尊心が過ちをきたす時: 検証可能なリワードによる強化学習のための能動的ラベル獲得
• Authors: Li Wang, Xiaodong Lu, Xiaohan Wang, Yikun Ban, Jiajun Chai, Wei Lin, Tianhao Peng, Guojun Yin,
• Abstract要約: 能動検証リワードを用いた強化学習(RLAVR)を提案する。 RLAVRは、少数のサンプルの接地木ラベルを積極的に取得し、擬似ラベルと統合する。 これに基づいて、RLAVR(CARE)の補正認識信頼性推定を導入する。
• 参考スコア（独自算出の注目度）: 49.25249414962884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have achieved remarkable advancements in reasoning capabilities empowered by Reinforcement Learning with Verifiable Rewards (RLVR). Nonetheless, RLVR intrinsically relies on ground-truth labels for reward computation, the acquisition of which is often prohibitively expensive in real-world scenarios. While unsupervised RLVR paradigms attempt to circumvent this by training on pseudo-labels, they are notoriously susceptible to training collapse. Moreover, different samples often exhibit varying annotation values. In this paper, we propose Reinforcement Learning with Active Verifiable Rewards (RLAVR), which actively acquires ground-truth labels for a small set of selected samples and integrates them with pseudo-labels, thereby stabilizing training dynamics and improving performance under limited annotation budgets. To identify valuable samples, we propose the Corrective Advantage Gap (CAG) metric and analyze the sample-level supervision value. Building on this, we introduce Correction-Aware Reliability Estimation for RLAVR (CARE), which translates the oracle CAG criterion into a practical pre-query acquisition policy to substantially improve training stability. Extensive experiments across diverse domains, model families, and model scales demonstrate the effectiveness and generality of our approach. Our code is available at https://github.com/Lumina04/CARE.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、RLVR(Reinforcement Learning with Verifiable Rewards)によって強化された推論能力において、顕著な進歩を遂げている。 にもかかわらず、RLVRは本質的には報酬計算に地味なラベルを頼りにしており、現実のシナリオでは高額であることが多い。 教師なしのRLVRパラダイムは、擬似ラベルのトレーニングによってこれを回避しようとするが、トレーニング崩壊の影響を受けやすいことが知られている。 さらに、異なるサンプルは、しばしば異なるアノテーション値を示す。 本稿では,少数のサンプルの接地木ラベルを積極的に取得し,擬似ラベルと統合することにより,トレーニングのダイナミクスを安定化し,限られたアノテーション予算下での性能を向上させるRLAVRを提案する。 有効なサンプルを特定するために, 補正アドバンテージギャップ(CAG)測定値を提案し, 試料レベルの監視値を解析する。 そこで本研究では,RLAVR (Correction-Aware Reliability Estimation for RLAVR) を導入し,CAG基準を実際の事前取得ポリシーに変換することにより,トレーニング安定性を大幅に向上させる。 多様なドメイン、モデルファミリー、モデルスケールにわたる広範な実験は、我々のアプローチの有効性と一般化を実証している。 私たちのコードはhttps://github.com/Lumina04/CAREで公開されています。

関連論文リスト

• Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。 本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T08:22:21Z)
• Leveraging Vision-Language Models as Weak Annotators in Active Learning [13.163098563588727]
  視覚言語モデル(VLM)は、コストのかかる人間のアノテーションへの依存を減らすために利用することができる。 本稿では,人間の微粒なアノテーションと粗粒なVLM生成弱ラベルを組み合わせた能動的学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-01T07:40:49Z)
• How Far Can Unsupervised RLVR Scale LLM Training? [57.44753418846446]
  検証可能な報酬を伴う教師なし強化学習(URLVR)は、監督ボトルネックを越えてLLMトレーニングをスケールするための経路を提供する。 最近の研究は、モデル固有の信号を活用し、期待できる早期の利得を示しているが、その可能性と限界は未だ不明である。 我々は、URLVRメソッドを報酬源に基づく固有対外部に分類し、統一された理論的枠組みを確立する。
  論文  参考訳（メタデータ） (2026-03-09T17:38:11Z)
• Alternating Reinforcement Learning with Contextual Rubric Rewards [2.1172256884504588]
  Reinforcement Learning with Rewards (RLRR)は、従来の強化学習を人間のフィードバックから拡張するフレームワークである。 RLRRの既存のアプローチは、固定重み付きスカラー報酬に線形に圧縮されたベクトル報酬に限られる。 本研究は,報酬アグリゲーションの限界を克服するために,報酬付き強化学習(ARL-RR)を提案する。
  論文  参考訳（メタデータ） (2026-03-04T04:18:39Z)
• Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values [53.72318444646282]
  RLEV(Reinforcement Learning with Explicit Human Values)を提案する。 RLEVは、Large Language Model (LLM) 最適化を直接、定量化された人間の値信号と整合させる。 RLEVは、複数のRLアルゴリズムとモデルスケールで、精度のみのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-10-23T04:15:22Z)
• Learning to Reason without External Rewards [100.27210579418562]
  RLVR(Reinforcement Learning with Verifiable Rewards)による複雑な推論のための大規模言語モデル(LLM)の訓練は、費用がかかるドメイン固有の監督に依存して効果的であるが制限されている。 内部フィードバックからの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は、LLMが外部の報酬やラベル付きデータなしで本質的な信号から学習できるフレームワークである。 本稿では,モデル自身の信頼度を利用したRLIF手法であるIntuitorについて,その唯一の報奨信号として自己確実性(self-certainty)を提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。