論文の概要: LLM Parameters for Math Across Languages: Shared or Separate?

• arxiv url: http://arxiv.org/abs/2606.18453v1
• Date: Tue, 16 Jun 2026 20:02:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:50.88241
• Title: LLM Parameters for Math Across Languages: Shared or Separate?
• Title（参考訳）: 言語間の数学のLLMパラメータ:共有か分離か?
• Authors: Behzad Shomali, Luisa Victor, Tim Selbach, Ali Hamza Bashir, David Berghaus, Joachim Koehler, Mehdi Ali, Markus Frey,
• Abstract要約: 大規模言語モデル(LLM)における数学的推論の言語間機械的解析について述べる。 英語は数学関連パラメータの最大集合を一貫して生成しているのに対し、低リソース言語は関連するパラメータのより小さい集合を明らかにしている。
• 参考スコア（独自算出の注目度）: 1.9552770401279476
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) exhibit substantial cross-lingual variation in mathematical reasoning performance, but it remains unclear whether these differences reflect language-specific parameters or a shared mechanism that manifests differently by language. We present a cross-lingual mechanistic analysis of mathematical reasoning in LLMs, enabling us to localize and compare model parameters that support mathematical reasoning across languages. We find that the extracted math-associated parameters exhibit partial cross-lingual overlap, with the strongest overlap concentrated in intermediate model layers. We further observe that English consistently produces the largest set of math-relevant parameters, whereas lower-resource languages reveal smaller sets of relevant parameters. These results suggest that math-related behavior in multilingual LLMs is neither fully language-invariant nor fully language-specific, but instead exhibits partial cross-lingual parameter overlap with systematic language-dependent differences.
• Abstract（参考訳）: 大規模言語モデル (LLM) は数学的推論性能にかなりの言語間変動を示すが、これらの違いが言語固有のパラメータや言語によって異なる共有メカニズムを反映しているかどうかは不明である。 LLMにおける数学的推論の言語間機械的解析を行い、言語間の数学的推論をサポートするモデルパラメータの局所化と比較を可能にする。 抽出した算術関連パラメータは,中間モデル層に最強の重なりが集中した部分的言語間重なりを示すことがわかった。 さらに我々は、英語が数学関連パラメータの最大セットを一貫して生成しているのに対し、低リソース言語は関連するパラメータのより小さいセットを明らかにしている。 これらの結果から,多言語 LLM の数学的挙動は完全言語不変性や完全言語固有性ではなく,体系的な言語依存的差異と重なる部分言語間パラメータを示すことが示唆された。

関連論文リスト

• Beyond Translation: Evaluating Mathematical Reasoning Capabilities of LLMs in Sinhala and Tamil [1.0499611180329804]
  大きな言語モデル(LLM)は、英語で強い数学的推論を示す。 しかし、これらの機能が真の多言語推論や、SinhalaやTamilのような低リソース言語での翻訳ベースの処理に依存しているかどうかは不明だ。 6種類の数学問題の分類法を用いて4つの顕著な大言語モデルを評価する。
  論文  参考訳（メタデータ） (2026-02-16T07:08:37Z)
• MathMist: A Parallel Multilingual Benchmark Dataset for Mathematical Problem Solving and Reasoning [6.8892368960722346]
  数学的問題解決と推論のための並列多言語ベンチマークであるMathMistを紹介する。 MathMistには、7つの言語にまたがる21万以上の質問回答ペアが含まれている。 我々は,オープンソースの中小LCM,プロプライエタリシステム,多言語推論型モデルなど,多様なモデル群を体系的に評価する。
  論文  参考訳（メタデータ） (2025-10-16T04:59:52Z)
• Group then Scale: Dynamic Mixture-of-Experts Multilingual Language Model [38.0723521889505]
  18言語から128言語の実験結果から,本手法は言語間の負の移動を減らし,パラメータの少ない多言語性能を著しく向上させることが示された。 このような専門家の言語グループ専門化は、新しい言語適応の恩恵を受け、学習した過去の多言語知識に対する推論を減らす。
  論文  参考訳（メタデータ） (2025-06-14T07:56:18Z)
• The Emergence of Abstract Thought in Large Language Models Beyond Any Language [95.50197866832772]
  大規模言語モデル(LLM)は様々な言語で効果的に機能する。 予備的研究では、LLMの隠れた活性化は、英語以外のプロンプトに反応してもしばしば英語に類似している。 近年の結果は多言語のパフォーマンスが強く、他の言語での特定のタスクにおける英語のパフォーマンスを超えている。
  論文  参考訳（メタデータ） (2025-06-11T16:00:54Z)
• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
  言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。 トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
  論文  参考訳（メタデータ） (2025-05-21T08:35:05Z)
• Language-Specific Latent Process Hinders Cross-Lingual Performance [38.36668133949413]
  大規模言語モデル(LLM)は言語間移動が可能なが、異なる言語で書かれたのと同じクエリで入力されたときに一貫性のない出力を生成することができる。 言語間の表現類似度を測定し,LLMの暗黙的なステップを解釈するためにロジットレンズを適用し,多言語多選択推論問題の解法を提案する。 分析の結果,LLMは共通意味空間で作業するのではなく,言語間で異なる表現に依存しているため,不整合性を予測でき,精度が低いことが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-19T14:10:15Z)
• Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English [66.97110551643722]
  本研究では,Large Language Models (LLMs) 推論タスクにおける方言の相違について検討する。 LLMは、AAE入力に対するより正確な応答とより単純な推論チェーンと説明を生成する。 これらの知見は、LLMの処理方法と異なる言語品種の理由の体系的差異を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-06T05:15:34Z)
• Unveiling Linguistic Regions in Large Language Models [49.298360366468934]
  大規模言語モデル (LLM) は言語間アライメントと一般化能力を示す。 本稿では,LLMの言語能力に関するいくつかの調査を行う。
  論文  参考訳（メタデータ） (2024-02-22T16:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。