論文の概要: Multilingual Verifier Bias in RLVR: Benchmark, Rollout Diagnosis, and the Cross-Lingual Selection Bottleneck

• arxiv url: http://arxiv.org/abs/2608.20362v1
• Date: Wed, 17 Jun 2026 15:55:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.282286
• Title: Multilingual Verifier Bias in RLVR: Benchmark, Rollout Diagnosis, and the Cross-Lingual Selection Bottleneck
• Title（参考訳）: RLVRにおける多言語検証バイアス:ベンチマーク,ロールアウト診断,言語間選択ボトルネック
• Abstract要約: 正確なマッチング検証器は、形式とスクリプトのバリエーションを言語依存の偽陰性報酬雑音に変換する。 マルチリンガルなRLVR報酬を監査するための再利用可能なプロトコルを提案する。
• 参考スコア（独自算出の注目度）: 6.406377225565017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) is a standard recipe for training large language models on mathematical reasoning, where an answer verifier serves as a language-neutral reward function. We show that this assumption fails in multilingual settings: an exact-match verifier turns format and script variation into language-dependent false-negative reward noise. We introduce a reusable protocol for auditing multilingual RLVR rewards: a verifier-robustness suite, a rollout-diagnosis procedure, and language-conditioned reward-error metrics for Japanese, English, and Chinese answers. On MGSM rollouts with k=8, the exact-match proxy rejects trusted-correct answers at sharply different rates by language across Qwen3-4B, Qwen3-8B, and Llama-3.1-8B-Instruct; for Qwen3-8B, the false-negative rate reaches 0.642 on JP against 0.122 on EN and 0.073 on CN. A plain-numeric probe localizes the mechanism to the final-answer interface: an interface model drives reward-error VLB to zero while the residual accuracy gap is unchanged. We then expose a cross-lingual selection bottleneck: on MGSM250 rollouts, a target-local aggregation rule using no trusted labels closes 55-78% of the average selection gap, and over 95% of repairs require genuine cross-lingual support. The bottleneck replicates on a 483-problem MATH-500 set. A controlled training audit shows that rule-GRPO raises trusted accuracy while the reward-error VLB stays high. The unifying message is operational: multilingual RLVR rewards should be audited by language and by answer interface before they are optimized.
• Abstract（参考訳）: RLVR(Reinforcement Learning with verible rewards)は、数学的推論に基づいて大規模言語モデルを訓練するための標準的なレシピであり、解答検証器は言語ニュートラル報酬関数として機能する。 この仮定は多言語設定で失敗することを示す: 正確なマッチ検証器は、形式とスクリプトのバリエーションを言語依存の偽陰性報酬雑音に変換する。 日本語, 英語, 中国語の回答に対して, 検証器・ロバストネス・スイート, ロールアウト・ダイアグノーシス・プロシージャ, 言語条件付き報酬・エラー・メトリクスなどの多言語RLVR報酬を監査するための再利用可能なプロトコルを導入する。 k=8のMGSMロールアウトでは、正確なマッチプロキシは、Qwen3-4B、Qwen3-8B、Llama-3.1-8B-インストラクタで言語によって大きく異なる信頼された正しい回答を拒否する。 インタフェースモデルが報酬エラーVLBをゼロに駆動し、残差精度ギャップが変化しない。 MGSM250ロールアウトでは、信頼されたラベルを使用しないターゲットローカルアグリゲーションルールが平均選択ギャップの55-78%を閉じ、95%以上の修復が真の言語間サポートを必要としている。 ボトルネックは483プロブレムのMATH-500セットで再現される。 制御されたトレーニング監査では、ルールGRPOは信頼性を高め、報酬エラーVLBは高いままである。 マルチリンガルなRLVR報酬は、最適化される前に言語と回答インターフェースによって監査されるべきである。

関連論文リスト

• M-GATE: Multilingual Grammar, Accuracy in Translation, and Efficiency Benchmark for Large Language Models [0.0]
  M-GATE(英語: M-GATE)は、30言語にまたがる言語能力のベンチマークである。 80以上の構成で50以上のモデルを評価しました。
  論文  参考訳（メタデータ） (2026-08-04T15:16:05Z)
• Beyond Pass Rate: A Multilingual, Execution-Grounded Evaluation of Open Code LLMs [0.0]
  ベストモデルの平均正しさは23.64%に達し、人間受け入れベースラインは57.2%である。 Qwen2.5-Coder-14B-Instructは、難しい問題と明確なプロブレムカバレッジで最強である。 Gemma-2-27B-ITは全言語でのリント通過率が最も高い。
  論文  参考訳（メタデータ） (2026-06-07T21:10:30Z)
• Direct Preference Optimization for English-Mandarin Code-Switching Speech Recognition in Audio LLMs [16.121226347387246]
  音声大言語モデル(Audio LLMs)は、強い多言語機能にもかかわらず、コードスイッチング音声の書き起こしにおける体系的な失敗を示す。 選択された応答が混合言語コンテンツを保存する選好ペアを構成するモデルに、直接選好最適化を適用した。 このアライメントにより、MERは89.6%(分配中)と20.0%(分配外)まで減少する。
  論文  参考訳（メタデータ） (2026-05-13T16:15:33Z)
• MultiCW: A Large-Scale Balanced Benchmark Dataset for Training Robust Check-Worthiness Detection Models [6.382707047064603]
  Multi-Check-Worthyデータセットは16言語、7つのトピックドメイン、2つの書き込みスタイルにまたがる。 123,722のサンプルからなり、ノイズ(非形式)と構造化(形式)のテキストの間に均等に分散し、すべての言語でチェックに相応しいクラスと非チェックに相応しいクラスのバランスが取れている。
  論文  参考訳（メタデータ） (2026-02-18T09:28:53Z)
• Language-Coupled Reinforcement Learning for Multilingual Retrieval-Augmented Generation [73.54930910609328]
  多言語検索強化学習フレームワークLcRLを提案する。 LcRLは言語に結合したグループ相対ポリシー最適化をポリシーと報酬モデルに統合する。 我々は,言語結合型グループサンプリングをロールアウトモジュールに導入し,知識バイアスを低減し,報酬モデルにおける補助的反一貫性のペナルティを正規化し,知識衝突を軽減する。
  論文  参考訳（メタデータ） (2026-01-21T11:32:32Z)
• Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
  VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。 Instruct-Verify-and-Act(IVA)を提案する。 実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-22T10:54:33Z)
• MRN: Multiplexed Routing Network for Incremental Multilingual Text Recognition [56.408324994409405]
  多重ルーティングネットワーク(MRN)は、現在見られる言語ごとに認識器を訓練する。 MRNは、古いデータへの依存を効果的に減らし、破滅的な忘れ物との戦いを改善する。 既存の汎用IL法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2023-05-24T06:03:34Z)
• UPV at CheckThat! 2021: Mitigating Cultural Differences for Identifying Multilingual Check-worthy Claims [6.167830237917659]
  本稿では,意図しないバイアスを軽減するための補助課題として,言語識別タスクを提案する。 その結果,言語識別とチェックアワーなクレーム検出タスクを併用することで,選択した言語の性能向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2021-09-19T21:46:16Z)
• Zero-Shot Cross-lingual Semantic Parsing [56.95036511882921]
  7つのテスト言語に対する並列データを持たないゼロショット問題として,言語間セマンティックパーシングについて検討した。 英文論理形式ペアデータのみを用いて解析知識を付加言語に転送するマルチタスクエンコーダデコーダモデルを提案する。 このシステムは、ゼロショット解析を潜時空間アライメント問題としてフレーム化し、事前訓練されたモデルを改善し、最小のクロスリンガル転送ペナルティで論理形式を生成することができる。
  論文  参考訳（メタデータ） (2021-04-15T16:08:43Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。