論文の概要: Indic-Task Gains and Regressions after Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2611.16228v2
- Date: Fri, 13 Nov 2026 04:30:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.233426
- Title: Indic-Task Gains and Regressions after Reinforcement Learning
- Title(参考訳): 強化学習後のインデックス・タスクゲインと回帰
- Abstract要約: GRPOを用いた強化学習(RL)を4つの環境にわたって実施する。
1つの評価キャンペーンにおいて、34のベンチマークでRLの前後のモデルを比較した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We run reinforcement learning (RL) with GRPO across four environments, starting from a supervised fine-tuned 30B-A3B mixture-of-experts model covering English and eight Indic languages. We compare the model before and after RL across 34 benchmarks in one evaluation campaign. MATH improves by 36.07 points, and most Indic benchmarks also improve. Yet XQuAD-Indic F1 falls 19.32 points as English answers rise from 8.7% to 91.7%; IndicQA falls 8.64, while English XQuAD gains 11.71 F1. A second RL run from the same supervised initialization adds an Indic environment together with language and repetition rewards. Compared with the released model, it improves both passage-answering and instruction-following benchmarks, along with preserving MATH performance. But it loses ground on reasoning and coding benchmarks. Several training choices changed together, so we cannot isolate the effect of any one of the reward terms. Script compliance remains unresolved. Adding a language reward did not ensure use of the requested script. Passage answering and script compliance therefore need direct evaluation, even when other benchmark scores improve.
- Abstract(参考訳): GRPOを用いた強化学習(RL)を,英語と8つのIndic言語を対象とした30B-A3B混合実験モデルから,4つの環境にわたって実施する。
1つの評価キャンペーンにおいて、34のベンチマークでRLの前後のモデルを比較した。
MATHは36.07ポイント改善され、ほとんどのIndicベンチマークも改善されている。
XQuAD-Indic F1は19.32ポイント、英語の回答は8.7%から91.7%、IndicQAは8.64ポイント、英語のXQuADは11.71ポイントとなっている。
同じ教師付き初期化から実行された第2のRLは、言語や繰り返しの報酬とともに、Indic環境を追加します。
リリースされたモデルと比較すると、パス回答と命令追従のベンチマークの両方を改善し、MATH性能を保っている。
しかし、推論とコーディングのベンチマークは見当たらない。
いくつかのトレーニング選択が一緒に変わったので、報酬条件のいずれかの効果を分離することはできない。
スクリプトのコンプライアンスは未解決のままである。
言語報酬を追加することで、要求されたスクリプトの使用が保証されることはなかった。
従って、他のベンチマークスコアが改善しても、パス応答とスクリプトコンプライアンスは直接評価が必要である。
関連論文リスト
- Outside the Purview of the Reward: Capability Drift in Multilingual Post-Training [0.0]
ポストトレーニングは、ユーザーがまだ必要としている能力を弱める一方で、報奨行動を改善することができる。
我々は,多言語混合実験モデルにおける共有教師ありチェックポイントからの2つのGRPO分岐について検討した。
論文 参考訳(メタデータ) (2026-11-11T16:55:22Z) - A Sovereign, Indic-First, Reasoning Model [0.0]
Gnani-Evon-v3.3-30B-A3B (Gnani-Evon-v3.3-30B-A3B) は、英語とインドの8つの言語における推論、指示、ツール使用のための長文ハイブリッド型Mamba-Transformerモデルである。
52層のバックボーンを保持し、語彙、トレーニングデータ、訓練後の目的を変更する。
論文 参考訳(メタデータ) (2026-10-11T05:52:29Z) - TeachGrade: Training-Free Short Answer Scoring with Teacher Evidence [17.711751115047292]
TeachGradeは、教師級の例を使ったトレーニング不要のフレームワークである。
12タスクにわたる3,829のSAS-Bench回答では、公式なマクロ協調一貫性スコア(CCS)がネイティブの67.99から81.32(+13.33ポイント)に上昇した。
論文 参考訳(メタデータ) (2026-10-10T13:22:16Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳(メタデータ) (2026-08-17T09:50:52Z) - Pushing on Multilingual Reasoning Models with Language-Mixed Chain-of-Thought [23.847410628315544]
英語とターゲット言語を切り替える推論スキーマである**Language-Mixed CoT**を紹介する。
我々は6つのファミリー(Qwen2.5、Llama-3.1、Gemma-3など)でNinveモデル(4B-35B)を訓練する。
我々のベストモデル**KO-REAson-35B*は、平均スコア(64.0 pm 25)で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-10-05T14:39:41Z) - Critique-GRPO: Advancing LLM Reasoning with Natural Language and Numerical Feedback [59.078756231841574]
Critique-GRPOは、自然言語と数値フィードバックを統合して効果的なポリシー最適化を行うオンラインRLフレームワークである。
批判-GRPOは、教師付き学習とRLに基づく微調整法を8つの難解な数学、STEM、一般的な推論タスクで一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2025-06-03T17:39:02Z) - Making Large Language Models Better Reasoners with Step-Aware Verifier [49.16750018427259]
DIVERSE(Diverse Verifier on Reasoning Step)は、言語モデルの推論能力をさらに強化する新しいアプローチである。
最新の言語モデルであるcode-davinci 上で DIVERSE を評価し,8つの推論ベンチマークのうち6つで新たな最先端結果が得られることを示す。
論文 参考訳(メタデータ) (2022-06-06T03:38:36Z) - Self-Consistency Improves Chain of Thought Reasoning in Language Models [53.45015291520658]
我々は,大規模言語モデルの推論精度を大幅に向上させる,単純なアンサンブル戦略,自己整合性を探究する。
算術的および常識的推論ベンチマークでは、自己整合性は大幅な精度の向上をもたらす。
論文 参考訳(メタデータ) (2022-03-21T17:48:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。