論文の概要: The Impact of Language Mixing on Bilingual LLM Reasoning
- arxiv url: http://arxiv.org/abs/2507.15849v1
- Date: Mon, 21 Jul 2025 17:56:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:32.524563
- Title: The Impact of Language Mixing on Bilingual LLM Reasoning
- Title(参考訳): 言語混合がバイリンガルLLM推論に及ぼす影響
- Authors: Yihao Li, Jiayi Xin, Miranda Muqing Miao, Qi Long, Lyle Ungar,
- Abstract要約: 中国語と英語のバイリンガル推論モデルにおける言語スイッチングについて検討する。
単言語復号を強制すると 数学推論タスクの精度は 5.6 ポイント低下する
潜在的な言語スイッチが、推論に害を与えるかどうかを予測するために、軽量なプローブをトレーニングすることができる。
- 参考スコア(独自算出の注目度): 4.495689119099099
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Proficient multilingual speakers often intentionally switch languages in the middle of a conversation. Similarly, recent reasoning-focused bilingual large language models (LLMs) with strong capabilities in both languages exhibit language mixing--alternating languages within their chain of thought. Discouraging this behavior in DeepSeek-R1 was found to degrade accuracy, suggesting that language mixing may benefit reasoning. In this work, we study language switching in Chinese-English bilingual reasoning models. We identify reinforcement learning with verifiable rewards (RLVR) as the critical training stage that leads to language mixing. We demonstrate that language mixing can enhance reasoning: enforcing monolingual decoding reduces accuracy by 5.6 percentage points on math reasoning tasks. Additionally, a lightweight probe can be trained to predict whether a potential language switch would benefit or harm reasoning, and when used to guide decoding, increases accuracy by up to 6.25 percentage points. Our findings suggest that language mixing is not merely a byproduct of multilingual training, but is a strategic reasoning behavior.
- Abstract(参考訳): 熟練した多言語話者はしばしば会話の途中で意図的に言語を切り替える。
同様に、両方の言語で強力な能力を持つ最近の推論に焦点を当てたバイリンガル大言語モデル(LLM)は、思考の連鎖の中で言語を交互に混合する言語を示す。
この動作をDeepSeek-R1で検出すると精度が低下し、言語混合が推論の恩恵を受ける可能性が示唆された。
本研究では、中国語と英語のバイリンガル推論モデルにおける言語スイッチングについて研究する。
我々は、言語混合につながる重要な訓練段階として、検証可能な報酬(RLVR)を用いた強化学習を同定する。
単言語復号を強制することは、数学推論タスクにおいて精度を5.6ポイント削減する。
さらに、潜在的な言語スイッチが推論の恩恵を受けるかどうかを予測するために軽量プローブをトレーニングし、デコーディングのガイドに使用すると、最大6.25ポイントの精度が向上する。
以上の結果から,言語混合は多言語学習の副産物であるだけでなく,戦略的推論行動でもあることが示唆された。
関連論文リスト
- When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。
トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
論文 参考訳(メタデータ) (2025-05-21T08:35:05Z) - CoCo-CoLa: Evaluating and Improving Language Adherence in Multilingual LLMs [1.2057938662974816]
大規模言語モデル(LLM)は、限られた並列データで訓練されているにもかかわらず、言語間能力を開発する。
多言語LLMにおける言語適応性を評価するための新しい指標であるCoCo-CoLaを紹介する。
論文 参考訳(メタデータ) (2025-02-18T03:03:53Z) - The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。
学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。
分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
論文 参考訳(メタデータ) (2024-04-11T17:58:05Z) - Breaking the Language Barrier: Improving Cross-Lingual Reasoning with
Structured Self-Attention [18.439771003766026]
多言語言語モデル(MultiLM)が、異なる言語での推論のために微調整された場合、論理的推論能力を他の言語に伝達できるかどうかを検討する。
我々は,MultiLMが言語間の推論能力をモノリンガルな環境で伝達できることを実証した。
この観察に続いて,コードスイッチングシーケンスにおける言語横断的な注意を促すために,専用パラメータセットを用いた新しいアテンション機構を提案する。
論文 参考訳(メタデータ) (2023-10-23T18:06:38Z) - Cross-Lingual Ability of Multilingual Masked Language Models: A Study of
Language Structure [54.01613740115601]
本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。
我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
論文 参考訳(メタデータ) (2022-03-16T07:09:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。