論文の概要: SCARL: Sequence Confidence-Aligned Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.40407v1
• Date: Thu, 29 Oct 2026 16:38:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.538732
• Title: SCARL: Sequence Confidence-Aligned Reinforcement Learning
• Title（参考訳）: SCARL: シーケンス信頼度に適合した強化学習
• Abstract要約: 検証可能な報酬(RLVR)を用いた強化学習は,ルールベースの検証器を用いてサンプル応答を評価することにより,言語モデル推論を改善する。 そこで我々は,SCARL(Sequence Confidence-Aligned Reinforcement Learning)を提案する。
• 参考スコア（独自算出の注目度）: 27.81299983756772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) improves language-model reasoning by scoring sampled responses with a rule-based verifier and reinforcing those that pass. Where a classifier's training couples predicted probability to labels, nothing ties an RLVR policy's confidence in a response to its reward: aligned training would drive responses with the same advantage toward equal confidence, yet the advantage is blind to confidence. Under this sequence-confidence misalignment, a success the policy barely found earns the same update as one it produces with near certainty, and a confident error is corrected no harder than an exploratory one. We propose SCARL (Sequence Confidence-Aligned Reinforcement Learning), which reshapes, but never re-signs, each advantage with the alignment gap between the response's group-relative confidence and the outcome its advantage certifies, normalized into shares of each class's advantage budget. Misaligned samples absorb the force, responses with the same advantage are driven toward equal confidence, and repairing the misalignment doubles as a remedy for the entropy collapse that erodes exploration. SCARL provably reduces to its base estimator when a class's confidences agree, adds no extra passes and one hyperparameter. On Qwen3-4B-Base it lifts average Pass@32 by 2.4 points over DAPO and is best among nine compute-matched methods on both coverage and per-draw accuracy; applied unchanged across four estimators and four backbones, it improves 14 of 16 settings while preserving policy entropy and widening the confidence-correctness separation. Our code is available at https://github.com/kezhh163/scarl.
• Abstract（参考訳）: Reinforcement Learning with verible rewards (RLVR) は、ルールベースの検証器を用いてサンプル応答を採点し、通過するものを補強することにより、言語モデル推論を改善する。 分類者のトレーニングカップルがラベルの確率を予測する場合、報酬に対するRLVRポリシーの信頼とは無関係である。 このシークエンス・アライメント・ミスアライメントの下では、ポリシーが見いだした成功は、ほぼ確実性で生成したものとほとんど同じ更新を得られず、確実なエラーは探索的なものよりも容易に修正される。 提案するSCARL(Sequence Confidence-Aligned Reinforcement Learning)は,応答のグループ相対的信頼度と結果のアライメントのギャップを解消し,各クラスの有利な予算の共有に正規化される。 ミスアライズされたサンプルは力を吸収し、同じ優位性を持つ応答は等しい信頼に向かって駆動され、不整合を修復することは、探査を損なうエントロピー崩壊の対策となる。 SCARLは、クラスの信頼度が一致するとき、ベース推定器を確実に削減し、余分なパスと1つのハイパーパラメータを追加します。 Qwen3-4B-Baseでは、平均的なPass@32をDAPO上で2.4ポイント上げ、カバー範囲と描画単位の精度で9つの計算マッチングメソッドの中で最高である。 私たちのコードはhttps://github.com/kezhh163/scarl.comから入手可能です。

関連論文リスト

• Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts [57.65087348754571]
  検証可能な報酬(RLVR)による強化学習は、モデルに正しい回答を与えるよう推論するモデルを訓練するが、その信頼性が校正されることは保証しない。 近年の手法では、RLVRループ内のキャリブレーションを、モデルが応答に付随して数値的信頼度を持たせることで訓練しているが、これらはすべてテキストとしてサンプリングすることで信頼性を得る。 我々は、サンプリングを決定論的読み出しに置き換えるためにCREDO(Confidence REaDOut)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T10:47:41Z)
• Shared Experience, Separate Learning: Companion Confidence Calibration for LLMs [72.45153081761715]
  本研究では,能力向上とともに信頼度が学習されるエンファンコンカレント信頼度校正について検討する。 隠れ状態のロールアウトや検証者による正当性監視から軽量なコンパニオンを訓練する textbfCoCal を導入する。 Qwen3-8BとQwen3-14Bの実験は、タスク性能を犠牲にすることなく、CoCalが信頼性評価を改善することを示した。
  論文  参考訳（メタデータ） (2026-09-27T16:25:09Z)
• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• Post-Training Shifts Confidence: A Three-Stage Analysis of How SFT, RL, and OPD Shape CoT Calibration [20.813380812371637]
  本稿では,3段階のキャリブレーション・フレームワークを導入する。 SFTは早期停止のための最強のオンライン信号を提供し、RLは最も信頼性の高いトレースレベル信号を生成する。 位置認識型信頼戦略であるPosConfを提案する。
  論文  参考訳（メタデータ） (2026-07-15T12:12:37Z)
• Ranking-Aware Calibration for Reliable Multimodal Reinforcement Learning [28.00739954235118]
  本稿では,2つの比較信号を用いて信頼度を監督する学習時間フレームワークであるRanding-Aware(RAC)を紹介する。 我々はQwen2.5-VL InternVL-3.5バックボーン上でRACをインスタンス化し、クリーンで破損した入力の下で6つのマルチモーダル推論ベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-05-16T13:51:29Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
  既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。 モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。 我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
  論文  参考訳（メタデータ） (2026-03-06T04:03:13Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。