論文の概要: Learned Reporting Preferences in RLVR Can Conflict with the Current Request
- arxiv url: http://arxiv.org/abs/2609.36587v1
- Date: Tue, 29 Sep 2026 03:05:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 04:28:51.333176
- Title: Learned Reporting Preferences in RLVR Can Conflict with the Current Request
- Title（参考訳）: RLVRにおけるレポーティング選好の学習は、現在の要求と矛盾する可能性がある
- Abstract要約: 我々は2つの報告規約の下で政策を訓練し、それぞれの政策を現在の両方の要求の下で評価する。
ボックス式RLVRは要求されたハッシュフォーマットペイロードを含むQwen2.5-7B応答の割合を35.33～74.37ポイント削減する。
教師付きターゲットにおける最終回答マーカーだけを変更すると、モデルが3つのシードで好むレポートの規則が逆転する。
- 参考スコア（独自算出の注目度）: 19.531321651869565
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) has become a prominent approach for improving language-model performance on reasoning tasks using automatically checked answers. Yet convention-matched evaluation cannot reveal whether reinforcing one reporting convention reduces adherence to a different request that the initial policy already follows. To test this, we train matched policies under two reporting conventions and evaluate each policy under both current requests, using the same initial policy as a shared reference. We complement this crossed design with controlled interventions and independent human calibration. On GSM8K, boxed-format RLVR reduces the fraction of Qwen2.5-7B responses containing the requested hash-format payload by 35.33--74.37 percentage points relative to a 95.45% initial baseline in four of five training seeds; the fifth improves by 2.50 points. In the four deteriorating runs, almost every response that omits the requested payload instead retains the trained boxed convention, and the same four seeds deteriorate under two fixed paraphrases. Changing only the final-answer marker in supervised targets reverses which reporting convention the model prefers across three seeds, providing controlled evidence that this preference is learnable. Across three settings with independent human calibration, gains under a convention-sensitive scorer exceed the corresponding gains in committed-answer correctness, i.e., the correctness of the answer the model actually commits to. Together, these results separate three distinct post-training outcomes: learned reporting preference, current-request adherence, and committed-answer correctness. They show that convention-matched accuracy alone does not fully characterize post-training behavior and motivate evaluating current-request adherence alongside convention-matched task accuracy.
- Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は,自動チェック回答を用いた推論タスクにおいて,言語モデルの性能向上のための顕著なアプローチとなっている。
しかし、慣例に適合した評価では、ある報告規則の強化が、初期方針が既に従っている異なる要求への順守を減少させるか否かは明らかにできない。
これをテストするために、2つの報告規約の下で一致したポリシーを訓練し、それぞれのポリシーを2つの現在のリクエストで評価し、同じ初期ポリシーを共有参照として使用した。
我々は、この横断的な設計を、制御された介入と独立した人間のキャリブレーションで補完する。
GSM8Kでは、ボックス式RLVRは要求されたハッシュフォーマットペイロードを含むQwen2.5-7B応答の割合を5つのトレーニングシードのうち4つの95.45%の初期ベースラインに対して35.33--74.37パーセント削減し、5番目は2.50ポイント改善した。
4つの劣化した実行では、要求されたペイロードを省略するほとんどすべての応答は、代わりにトレーニングされたボックス化された規約を保持し、同じ4つの種子は2つの固定されたパラフレーズの下で劣化する。
教師対象における最終回答マーカーだけを変更すると、モデルが3つの種にまたがって好む報告規則が逆転し、この選好が学習可能であるという制御された証拠を提供する。
独立した人間のキャリブレーションを持つ3つの設定において、コンベンションに敏感なスコアラーの下でのゲインは、コミットされた回答の正しさ、すなわちモデルが実際にコミットした回答の正しさの対応するゲインを超える。
これらの結果は、学習された報告の好み、現在の要求の順守、コミットされた回答の正しさの3つの異なる結果から分離された。
彼らは、コンベンションマッチングされた精度だけでは、トレーニング後の行動を完全に特徴づけるものではなく、コンベンションマッチングされたタスク精度とともに、現在の要求の順守を評価するモチベーションであることを示した。
関連論文リスト
- MARCO: Multi-Round Agentic Reinforcement for Conditional Molecular Optimization [54.020314646710204]
我々は分子エディターを訓練する評価器を用いた強化学習フレームワークであるMARCOを紹介する。
MARCOは、形をしたターン報酬を、グループ相対的なポリシー最適化のための未公表の軌道リターンに集約する。
このトレーニングの結果は,一応の予算でトレーニングされたポリシをテストし,同じポリシが検証者フィードバックを利用できるかどうかをSame-5でテストする,という2つの結果が得られた。
論文 参考訳（メタデータ） (2026-09-29T04:21:05Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - When Does Learning to Stop Help? A Cost-Aware Study of Early Exits in Reasoning Models [4.8190992438931035]
LearnStopは、プレフィックスオブザーバブルな機能の上に隠された状態のないロジスティックストッパーである。
学習は、答えが振動し、正しさの証拠が広がる場所を給与する。
コスト計算は、KVキャッシュでトークンを32%節約するのと同じ方針で、ブラックボックスの繰り返しプリフィルで121%余分なコストがかかる。
論文 参考訳（メタデータ） (2026-06-29T19:33:42Z) - A Pre-Registered Causal Partition of Self-Consistency Elicitation and Reward Design in RLVR [1.2958054117511815]
報酬からの強化学習は、報酬信号が刺激的であっても推論を改善する。
実践者は一般的に、報酬-設計効果として naive = acc(TRUE) - acc(R) を解釈する。
我々はこの推定が体系的に偏っていることを証明している。
論文 参考訳（メタデータ） (2026-06-04T09:35:54Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization [50.59956036193097]
検証可能な報酬(RLVR)を用いた強化学習における正しい解を生成するモデル
各トークンは、決定的な推論ステップであれ、文法的なフィラーであれ、同じ報酬信号を受信する。
コントラストエビデンスポリシー最適化(CEPO)を提案する。
CEPOは、全てのトークンに対してよりシャープな質問をする:「正しい答えは、このトークンを好むか?」が、「正しい答えは、正しい答えは、それを好む一方で、間違った答えはそれを好まないか?」。
論文 参考訳（メタデータ） (2026-05-19T06:46:19Z) - Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。
集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。
提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
論文 参考訳（メタデータ） (2026-05-13T20:33:59Z) - Conformal Path Reasoning: Trustworthy Knowledge Graph Question Answering via Path-Level Calibration [31.29584002718744]
本稿では,2つの重要なイノベーションを持つ信頼性の高いKGQAフレームワークであるConformal Path Reasoning (CPR)を提案する。
まず、経路レベルのスコアに対してクエリレベルの共形キャリブレーションを行い、経路予測セットを生成しながら交換性を維持する。
第2にResidual Conformal Value Network (RCVNet)を導入する。これはPUCT誘導探索によって訓練された軽量モジュールで、識別パスレベルの非整合性スコアを学習する。
論文 参考訳（メタデータ） (2026-05-08T17:57:13Z) - When Rubrics Fail: Error Enumeration as Reward in Reference-Free RL Post-Training for Virtual Try-On [31.413458927376016]
参照不要な設定を埋めるために、Implicit Error Countingを提案する。
IECは、キャリブレーションされたルーリックに対して何が正しいかをチェックせずに、何が間違っているかを列挙します。
ネーブ明示列挙法は安定な最適化には難しすぎることを示す。
論文 参考訳（メタデータ） (2026-03-05T20:20:04Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。