論文の概要: Outside the Purview of the Reward: Capability Drift in Multilingual Post-Training
- arxiv url: http://arxiv.org/abs/2611.15717v1
- Date: Wed, 11 Nov 2026 16:55:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.199776
- Title: Outside the Purview of the Reward: Capability Drift in Multilingual Post-Training
- Title(参考訳): 後方視:多言語後訓練における能力低下
- Abstract要約: ポストトレーニングは、ユーザーがまだ必要としている能力を弱める一方で、報奨行動を改善することができる。
我々は,多言語混合実験モデルにおける共有教師ありチェックポイントからの2つのGRPO分岐について検討した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Post-training can improve rewarded behavior while weakening capabilities users still need. We study two GRPO branches from a shared supervised checkpoint in a multilingual mixture-of-experts model. The released branch gains 36.07 points on MATH but loses 19.32 F1 points on XQuAD-Indic, while XQuAD-English improves under the same scoring rule. An independently trained sibling adds Indic instruction following and language-aware shaping. It recovers the regressing Indic task scores and preserves MATH, but does not restore script compliance and trades off competition mathematics and code. In a later round, judge training is followed by a sharp extraction decline from the Indic branch; reward-free distillation from its earlier checkpoint restores most of the lost F1. A MATH score decomposition associates most of the measured gain with increased boxed-answer emission; accuracy among boxed answers changes little. These results show why benchmark scores should be read alongside the response forms they reward.
- Abstract(参考訳): ポストトレーニングは、ユーザーがまだ必要としている能力を弱める一方で、報奨行動を改善することができる。
我々は,多言語混合実験モデルにおける共有教師ありチェックポイントからの2つのGRPO分岐について検討した。
リリースされたブランチはMATHで36.07ポイントを獲得したが、XQuAD-Indicで19.32F1ポイントを失い、XQuAD- Englishは同じスコアリングルールで改善した。
独立して訓練された兄弟姉妹は、Indic命令のフォローと言語対応のシェーピングを追加する。
退行するIndicタスクのスコアを回復し、MATHを保存するが、スクリプトのコンプライアンスを回復せず、競合する数学やコードを交換する。
後のラウンドでは、審査員訓練に続いて、Indicブランチからの鋭い抽出が減少し、初期のチェックポイントからの無報酬蒸留は、失われたF1の大部分を復元する。
MATHスコアの分解は、測定した利得のほとんどをボックス化回答エミッションの増加と関連づけるが、ボックス化回答の精度はほとんど変化しない。
これらの結果は、なぜベンチマークスコアが報酬のレスポンスフォームと一緒に読み込まれるべきかを示している。
関連論文リスト
- Indic-Task Gains and Regressions after Reinforcement Learning [0.0]
GRPOを用いた強化学習(RL)を4つの環境にわたって実施する。
1つの評価キャンペーンにおいて、34のベンチマークでRLの前後のモデルを比較した。
論文 参考訳(メタデータ) (2026-11-12T03:21:07Z) - Self-Improvement with Auxiliary Rewards: Learning from Verified Traces and Evaluating Transfer [23.648174923262427]
補助的軌跡選好が限定的な監督の下で,小言語モデルによる自己改善と伝達を改善するか否かを検討する。
オンライン実験では30のAIME問題に対してQwen3-1.7Bが適用され、オフライン実験では過去のAIME問題を使用する。
予備選好は、推論時間中に捕捉されていない等しく正しいトレースの中から学習価値を露呈し、下流利得による評価を動機付けることができる。
論文 参考訳(メタデータ) (2026-10-30T05:57:57Z) - CONCUR: Concordant Auxiliary Rewards for Multi-Task, Multi-Reward Reinforcement Learning [62.54814637079957]
群相対的優位推定器は、他のどの成分と同様にゲート補助を扱います。
ゲート付き補助装置の維持はタスクを損なうが、それを落として他のタスクを損なう。
本研究では,各ゲートの標準スコアを最も近いスコアに置き換える利点推定器であるCONCURを提案する。
論文 参考訳(メタデータ) (2026-10-27T00:36:59Z) - Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。
これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
論文 参考訳(メタデータ) (2026-09-26T21:56:26Z) - Ladders of Thought: A Self-Evolving Curriculum of Progressively Simplified Reasoning Traces [55.31881110525802]
進化的質問書き直しと自己進化型カリキュラムを組み合わせることで推論を改善するフレームワークであるLadders-of-Thought(LoT)を提案する。
LoTは意味論的に忠実だがより容易な推論問題の変種を自動生成し、ステップベースの測度を用いて難易度バケットに整理し、適応的にトレーニングを割り当てるために自己進化型バンディットスケジューラを使用する。
論文 参考訳(メタデータ) (2026-09-22T03:54:31Z) - V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning [59.47823383593251]
視覚サンプルモデルでは、視覚的証拠が不十分な流動的な答えを生み出すことができる。
本稿では,参照応答を原子命題に分解するVisuals-Based Reinforcement Learningを紹介する。
我々は,コンポーネントワイド,プレフィックスローカライズされたルーリッククレジットを用いて,同じSFTチェックポイントに基づいてモデルをトレーニングする。
論文 参考訳(メタデータ) (2026-08-26T09:40:46Z) - RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。
本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
論文 参考訳(メタデータ) (2026-08-25T08:35:04Z) - Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL [11.857468467125505]
トレーニング中に2つのスコアが分岐していることが分かりました。
一定のバイアスを持つ審査員は、トレーニングスコアが上昇している間に、金の曲線を一定にシフトさせる。
我々は、ニューロンのドロップアウトから借りた1行の修正であるDropoutを提案する。
論文 参考訳(メタデータ) (2026-08-12T05:29:21Z) - LLM Reasoning with Process Rewards for Outcome-Guided Steps [7.3312414850609215]
プロセス報酬モデル(PRM)を導入し、中間段階のスコアとより密集した監視を行う。
PRMスコアは最終的な正しさと不完全な整合性を持つことが多く、不正確な答えで終わっている局所的な流動的な推論に報酬を与えることができる。
結果の正しさを優位に保ちつつ,PRMを活用するフレームワークであるPROGRSを提案する。
論文 参考訳(メタデータ) (2026-02-08T06:38:20Z) - Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。
具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。
また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
論文 参考訳(メタデータ) (2025-05-30T15:42:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。