論文の概要: The Impact of Language Mixing on Bilingual LLM Reasoning

• arxiv url: http://arxiv.org/abs/2507.15849v1
• Date: Mon, 21 Jul 2025 17:56:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.524563
• Title: The Impact of Language Mixing on Bilingual LLM Reasoning
• Title（参考訳）: 言語混合がバイリンガルLLM推論に及ぼす影響
• Authors: Yihao Li, Jiayi Xin, Miranda Muqing Miao, Qi Long, Lyle Ungar,
• Abstract要約: 中国語と英語のバイリンガル推論モデルにおける言語スイッチングについて検討する。 単言語復号を強制すると 数学推論タスクの精度は 5.6 ポイント低下する 潜在的な言語スイッチが、推論に害を与えるかどうかを予測するために、軽量なプローブをトレーニングすることができる。
• 参考スコア（独自算出の注目度）: 4.495689119099099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Proficient multilingual speakers often intentionally switch languages in the middle of a conversation. Similarly, recent reasoning-focused bilingual large language models (LLMs) with strong capabilities in both languages exhibit language mixing--alternating languages within their chain of thought. Discouraging this behavior in DeepSeek-R1 was found to degrade accuracy, suggesting that language mixing may benefit reasoning. In this work, we study language switching in Chinese-English bilingual reasoning models. We identify reinforcement learning with verifiable rewards (RLVR) as the critical training stage that leads to language mixing. We demonstrate that language mixing can enhance reasoning: enforcing monolingual decoding reduces accuracy by 5.6 percentage points on math reasoning tasks. Additionally, a lightweight probe can be trained to predict whether a potential language switch would benefit or harm reasoning, and when used to guide decoding, increases accuracy by up to 6.25 percentage points. Our findings suggest that language mixing is not merely a byproduct of multilingual training, but is a strategic reasoning behavior.
• Abstract（参考訳）: 熟練した多言語話者はしばしば会話の途中で意図的に言語を切り替える。 同様に、両方の言語で強力な能力を持つ最近の推論に焦点を当てたバイリンガル大言語モデル(LLM)は、思考の連鎖の中で言語を交互に混合する言語を示す。 この動作をDeepSeek-R1で検出すると精度が低下し、言語混合が推論の恩恵を受ける可能性が示唆された。 本研究では、中国語と英語のバイリンガル推論モデルにおける言語スイッチングについて研究する。 我々は、言語混合につながる重要な訓練段階として、検証可能な報酬(RLVR)を用いた強化学習を同定する。 単言語復号を強制することは、数学推論タスクにおいて精度を5.6ポイント削減する。 さらに、潜在的な言語スイッチが推論の恩恵を受けるかどうかを予測するために軽量プローブをトレーニングし、デコーディングのガイドに使用すると、最大6.25ポイントの精度が向上する。 以上の結果から,言語混合は多言語学習の副産物であるだけでなく,戦略的推論行動でもあることが示唆された。

関連論文リスト

• Learn Globally, Speak Locally: Bridging the Gaps in Multilingual Reasoning [38.52080213211765]
  ジオファクトX(GeoFact-X)は、5つの言語で注釈付き推論トレースを持つ地理ベースの多言語事実推論ベンチマークである。 本稿では,教師付き微調整およびテスト時間強化学習を指導する新しいトレーニング手法BRIDGEを提案する。 その結果,BRIDGEは多言語推論の忠実度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-07-07T19:04:36Z)
• EfficientXLang: Towards Improving Token Efficiency Through Cross-Lingual Reasoning [12.511775058257328]
  推論において最もトークン効率のよい言語が英語かどうかを考察する。 非英語言語における推論はトークンの使用量を減少させるだけでなく、正確性も維持する。 改善の程度は、多言語強度のモデルに依存する。
  論文  参考訳（メタデータ） (2025-06-30T20:29:52Z)
• Language Matters: How Do Multilingual Input and Reasoning Paths Affect Large Reasoning Models? [59.970391602080205]
  多言語トレーニングにも拘わらず、LRMはテスト時に高リソース言語での推論をデフォルトとする傾向にある。 文化的推論は、推論タスクのパフォーマンスを低下させるが、文化的なタスクに恩恵を与える一方、安全性評価は言語固有の振る舞いを示す。
  論文  参考訳（メタデータ） (2025-05-23T02:46:18Z)
• When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
  言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。 トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
  論文  参考訳（メタデータ） (2025-05-21T08:35:05Z)
• CoCo-CoLa: Evaluating and Improving Language Adherence in Multilingual LLMs [1.2057938662974816]
  大規模言語モデル(LLM)は、限られた並列データで訓練されているにもかかわらず、言語間能力を開発する。 多言語LLMにおける言語適応性を評価するための新しい指標であるCoCo-CoLaを紹介する。
  論文  参考訳（メタデータ） (2025-02-18T03:03:53Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• Breaking the Language Barrier: Improving Cross-Lingual Reasoning with Structured Self-Attention [18.439771003766026]
  多言語言語モデル(MultiLM)が、異なる言語での推論のために微調整された場合、論理的推論能力を他の言語に伝達できるかどうかを検討する。 我々は,MultiLMが言語間の推論能力をモノリンガルな環境で伝達できることを実証した。 この観察に続いて,コードスイッチングシーケンスにおける言語横断的な注意を促すために,専用パラメータセットを用いた新しいアテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-10-23T18:06:38Z)
• Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
  本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。 我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
  論文  参考訳（メタデータ） (2022-03-16T07:09:35Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。