論文の概要: Distill Where the Student Goes: Teacher-Regularized RL for English-Evidence Cross-Lingual RAG
- arxiv url: http://arxiv.org/abs/2607.02966v2
- Date: Thu, 09 Jul 2026 05:23:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.246656
- Title: Distill Where the Student Goes: Teacher-Regularized RL for English-Evidence Cross-Lingual RAG
- Title（参考訳）: 学生がどこへ行くか : 英語学習における教師正規化RL
- Abstract要約: 言語横断検索拡張世代 (RAG) は英語のエビデンス方式でしばしば展開され、ユーザーは様々な言語で検索するが、検索されたパスは英語のままである。
本稿では,教師が調整したRLレシピTR-RAGを提案する。
さらに、言語整合性、文字3グラムのリコール、エビデンス基底の正当性のためのLLM-judgeスコアを組み合わせた多言語生成のための報酬分解を導入する。
- 参考スコア（独自算出の注目度）: 26.27001642005645
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cross-lingual retrieval-augmented generation (RAG) is often deployed in an English-evidence regime, where users query in diverse languages but retrieved passages remain English. In this setting, generation can fail despite strong base models: English evidence induces language drift (English or code-switching outputs) and models use evidence unreliably when producing non-English answers. We attribute these failures to two post-training challenges: (i) errors are prefix-dependent, so fixed-trajectory supervision suffers from prefix mismatch; and (ii) sequence-level (partly discrete / judge-based) rewards yield noisy credit assignment and high-variance updates. We propose TR-RAG, a teacher-regularized RL recipe that couples reward optimization with on-policy distillation on student-visited prefixes. A compact student samples on-policy answers, while a stronger frozen teacher is queried only on those prefixes and provides a prefix-wise student-to-teacher reverse-KL anchor. We further introduce a reward decomposition for English-evidence multilingual generation, combining language consistency, character 3-gram recall, and an LLM-judge score for evidence-grounded correctness. Across three benchmarks (BioASQ-ENKB5, Hotpot-ENKB5, and naturally multilingual MKQA) and two backbones, TR-RAG improves the composite of language adherence and evidence-grounded correctness over strong baselines. Crucially, the teacher anchor acts as a safety net: on in-domain languages it prevents the large language-consistency collapses (up to ~27 percentage points) that reward-only RL can suffer by drifting below even the base model, while on distant out-of-distribution languages, where reward-only RL stalls at the base model's ceiling, it still improves evidence grounding; and on character 3-gram recall the compact student sometimes surpasses its 70B teacher.
- Abstract（参考訳）: 言語横断検索拡張世代 (RAG) は英語のエビデンス方式でしばしば展開され、ユーザーは様々な言語で検索するが、検索されたパスは英語のままである。
英語のエビデンスは、言語ドリフト(英語またはコードスイッチングアウトプット)を誘導し、モデルは、非英語の回答を生成するときに、信頼できないエビデンスを使用する。
これらの失敗は、トレーニング後の2つの課題に起因しています。
(i)エラーはプレフィックスに依存しているので、固定軌道監督はプレフィックスミスマッチに悩まされる。
(ii) シーケンスレベル(部分的に離散的/判断的)の報酬は、ノイズの多い信用代入と高分散更新をもたらす。
本稿では,教師が調整したRLレシピTR-RAGを提案する。
コンパクトな学生は、政治上の回答をサンプリングし、強力な凍結教師は、これらの接頭辞にのみクエリされ、プレフィックスワイドの学生から教師への逆KLアンカーを提供する。
さらに、言語整合性、文字3グラムのリコール、エビデンス基底の正確性のためのLLM-judgeスコアを組み合わせた多言語生成のための報酬分解を導入する。
3つのベンチマーク(BioASQ-ENKB5、Hotpot-ENKB5、自然多言語MKQA)と2つのバックボーン(TR-RAG)は、強いベースラインに対する言語順守とエビデンス基底の正しさを改善している。
重要なことに、教師アンカーは安全ネットとして機能する: ドメイン内言語では、報酬のみのRLがベースモデルよりも下方に漂うことによる大きな言語一貫性の崩壊(最大27ポイントまで)を防ぎ、一方、報酬のみのRLがベースモデルの天井に収まる遠方のアウト・オブ・ディストリビューション言語では、根拠となる証拠を改善する。
関連論文リスト
- Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。
RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2026-08-01T17:29:14Z) - Crosslingual On-Policy Self-Distillation for Multilingual Reasoning [48.68444770923683]
Crosslingual On-Policy Self-Distillation (COPSD)は、モデル自身の高リソース推論動作を低リソース言語に転送する。
17の低リソースアフリカ言語に対する実験では、COPSDはモデルサイズ全体の低リソース数学的推論を一貫して改善している。
論文 参考訳（メタデータ） (2026-05-10T14:06:09Z) - All Languages Matter: Understanding and Mitigating Language Bias in Multilingual RAG [87.74635133954975]
現在のマルチ言語検索・拡張生成システム(mRAG)は,再ランク付け時に言語バイアスに悩まされていることを示す。
textittextbfLanguage-textbfAgnostic textbfUtility-driven textbfReranker textbfAlignment (LAURA)を提案する。
論文 参考訳（メタデータ） (2026-04-22T05:33:06Z) - ReasonXL: Shifting LLM Reasoning Language Without Sacrificing Performance [44.67427662307542]
ヨーロッパ5言語にまたがるクロスドメイン推論トレースの最初の大規模並列コーパスであるReasonXLを紹介する。
ReasonXL を用いて、所望のターゲット言語で LLM が完全に論理に適応できることを実証する。
適応の広範な表現解析を行い、モデル深度を横断する明確な機能分割を求める。
論文 参考訳（メタデータ） (2026-04-14T07:10:46Z) - Gained in Translation: Privileged Pairwise Judges Enhance Multilingual Reasoning [74.00326879493225]
textttSP3Fは、ターゲット言語におけるテクティタニーデータなしで多言語推論を強化するフレームワークである。
まず、英語の質問応答対の翻訳版にファインチューン(SFT)を監督し、ベースモデルの正確性を高める。
第二に、RLはペアワイズ・ジャッジからのフィードバックをセルフプレイ方式で実行し、裁判官は英語の参照応答をテキストプライベート情報として受信する。
論文 参考訳（メタデータ） (2026-01-26T17:46:44Z) - Parallel Universes, Parallel Languages: A Comprehensive Study on LLM-based Multilingual Counterfactual Example Generation [49.2073409243885]
大規模言語モデル(LLM)は、英語の対物生成に優れ、多言語習熟度を示す。
対象言語における直接生成された反事実と6言語間の英訳によって導出されるものの両方について自動評価を行う。
言語間で生成した偽物に一貫して現れる4つの主要なエラーを識別し分類する。
論文 参考訳（メタデータ） (2026-01-01T08:53:49Z) - Response-Based Knowledge Distillation for Multilingual Jailbreak Prevention Unwittingly Compromises Safety [3.8433556466595937]
大規模言語モデル (LLM) は世界中に展開されているが、その安全性は英語を中心に維持されている。
本稿では,多言語ジェイルブレイク防止における知識蒸留(KD)の新たな応用について紹介する。
プロプライエタリな教師モデルの拒絶行動を,Meta-Llama-3-8B-Instruct, Gemma-2-2B-IT, Qwen3-8Bの3つのオープンソース学生モデルに蒸留する。
論文 参考訳（メタデータ） (2025-12-08T06:48:17Z) - Think Natively: Unlocking Multilingual Reasoning with Consistency-Enhanced Reinforcement Learning [85.7304930030649]
本稿では,言語一貫性報酬と言語間思考アライメント報酬によって訓練されたM-Thinkerを提案する。
M-Thinkerは2つのマルチ言語ベンチマークで100%近い言語一貫性と優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-10-08T17:55:02Z) - Cross-lingual Collapse: How Language-Centric Foundation Models Shape Reasoning in Large Language Models [44.94287386776289]
textbfCross-lingual Collapseは、多言語言語モデルが支配的な事前学習言語に回帰する体系的なドリフトである。
実験の結果, (i)GRPOは事前学習言語の不均衡を急速に増幅し, わずか数百回の更新で低リソース言語が侵食され, (ii) 言語整合性報酬はこのドリフトを緩和するが, ほぼ5～10ppの精度の低下を犠牲にしていることがわかった。
論文 参考訳（メタデータ） (2025-06-06T08:08:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。