論文の概要: OpenJev-RLCD: A Working RLCD Implementation

• arxiv url: http://arxiv.org/abs/2609.38850v1
• Date: Wed, 30 Sep 2026 03:08:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.065379
• Title: OpenJev-RLCD: A Working RLCD Implementation
• Title（参考訳）: OpenJev-RLCD: ワーキングRLCDの実装
• Abstract要約: 本稿では、推論モデルのための校正決定(RLCD)のための強化学習の動作実装について述べる。 ばらつきのアイデンティティは、いくつかのサンプルの混合物のスコアリングが合理性に反し、RLVRはその多様性の項なしで、まさにこの混合目的であることを示している。 GSM8Kの回答検証では、単一のクエリがアイテムのgvTwoCovFive%を$le$5%エラーで、gvGrpoCovFive%がGRPOで決定する。
• 参考スコア（独自算出の注目度）: 23.324155376717105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decision models such as Jev answer questions with probabilities, which are only useful if they are calibrated. Open-source reproductions rely on supervised fine-tuning plus temperature scaling, while reinforcement learning from verifiable rewards (RLVR) makes reasoning models overconfident. We present a working implementation of reinforcement learning for calibrated decisions (RLCD) for reasoning models: the model samples a rationale, and we score the answer distribution it commits to afterwards with a strictly proper scoring rule. A variance identity shows that scoring the mixture of several samples rewards disagreeing rationales, and that RLVR is exactly this mixture objective without its diversity term. Optimized naively, the per-rationale objective either switches reasoning off or is drowned out by policy-gradient noise, which leads to a two-stage recipe: calibrate, then reinforce. With Qwen3-1.7B on two reasoning tasks (3 seeds, paired tests), RLCD matches or beats SFT, RFT/STaR and GRPO (each temperature-scaled) in accuracy and beats all of them in selective prediction; on GSM8K answer verification a single query decides \gvTwoCovFive\% of the items at $\le$5\% error, versus \gvGrpoCovFive\% for GRPO. When uncertainty comes from annotator disagreement, RLCD provably cannot beat cross-entropy. Code and results: https://github.com/ZimmyGao/openjev-rlcd.
• Abstract（参考訳）: Jevのような決定モデルは確率の質問に答えるが、それらは校正された場合にのみ有用である。 オープンソースの再現は、教師付き微調整と温度スケーリングに依存し、検証可能な報酬(RLVR)からの強化学習は、モデルの信頼性を過度に向上させる。 モデルが有理をサンプリングし,厳密な正当なスコアリングルールで解答分布をスコアリングする。 ばらつきのアイデンティティは、いくつかのサンプルの混合物のスコアリングが合理性に反し、RLVRはその多様性の項なしで、まさにこの混合目的であることを示している。 刺激的に最適化された設定対象は、推論をオフにするか、政策段階のノイズに溺れてしまうかのいずれかであり、2段階のレシピ、キャリブレーション、強化につながる。 Qwen3-1.7B の2つの推論タスク (3 種、ペアテスト) では、RLCD は SFT, RFT/STaR と GRPO (各温度スケール) を精度でマッチングし、選択的な予測でそれらを全て破り、GSM8K の回答検証では、単一のクエリが \gvTwoCovFive\% を$\le$5\% で決定する。 不確実性がアノテータの不一致から生じる場合、RCCDは確実にクロスエントロピーに勝てない。 コードと結果:https://github.com/ZimmyGao/openjev-rlcd.com

関連論文リスト

• Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts [57.65087348754571]
  検証可能な報酬(RLVR)による強化学習は、モデルに正しい回答を与えるよう推論するモデルを訓練するが、その信頼性が校正されることは保証しない。 近年の手法では、RLVRループ内のキャリブレーションを、モデルが応答に付随して数値的信頼度を持たせることで訓練しているが、これらはすべてテキストとしてサンプリングすることで信頼性を得る。 我々は、サンプリングを決定論的読み出しに置き換えるためにCREDO(Confidence REaDOut)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T10:47:41Z)
• Measuring Reward Hacking and Reasoning-Answer Decoupling Under Position-Confounded Optimization [1.1316247605466565]
  正解が常にオプションAである数学問題に対してGRPOを用いて言語モデルを訓練し、不偏解位置を持つ未知のテストセットで評価する。 Qwen2.5、Llama 3.x、Gemma-3のモデルでは、より小さなモデルではオプションAレートが0.90を超えている。 有能なモデルは、Aを選択しながら正しい数値解に到達した推論を生成する。
  論文  参考訳（メタデータ） (2026-08-15T23:13:57Z)
• Improving Generalization Robustness of Multimodal RLVR [44.35945134924193]
  Reinforcement Learning with Verifiable Rewardsは、大きな言語モデルをより正確にするが、利益は不安定である。 動的三項報酬と整合正則化器からなるPIRL(Prompt-Invariant RLVR)を提案する。 ストレステストでは、ベンチマークにおけるPIRLの平均精度はわずか$le 1%ほど低下し、GRPOは3%低下した。
  論文  参考訳（メタデータ） (2026-08-09T16:36:42Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• Answer-Consistent Chain-of-thought Reinforcement Learning For Multi-modal Large Langauge Models [33.398631680508814]
  本稿では,GRPOアルゴリズムを補助的整合性チェックで修正するAnswer-Consistent Reinforcement Learningを提案する。 我々は、オリジナルとポストシャッフルの両方の回答が一致して正しい場合にのみ高い報酬を与える一貫性検証報酬を設計する。 我々は、ACREを挑戦的なビデオ推論ベンチマークとマルチモーダル数学推論ベンチマークで評価し、平均2.2%と1.5%の改善を達成した。
  論文  参考訳（メタデータ） (2025-10-11T08:32:52Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)
• The leave-one-covariate-out conditional randomization test [36.9351790405311]
  条件付き独立テストは重要な問題ですが、仮定なしでは間違いなく難しいです。 Knockoffsは、このフレームワークに関連する一般的な方法論であるが、2つの大きな欠点に悩まされている。 条件付きランダム化テスト(CRT)はモデルXの下では「正しい」解であると考えられているが、通常は計算的に非効率であると見なされる。
  論文  参考訳（メタデータ） (2020-06-15T15:38:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。