論文の概要: English Calibration Erodes Lithuanian in Expert-Pruned Mixture-of-Experts Language Models

• arxiv url: http://arxiv.org/abs/2611.07654v1
• Date: Thu, 05 Nov 2026 08:39:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.605911
• Title: English Calibration Erodes Lithuanian in Expert-Pruned Mixture-of-Experts Language Models
• Title（参考訳）: 専門知識混合言語モデルにおけるリトアニア語の校正
• Abstract要約: 英語のキャリブレーションは他の言語によく伝達される。 25%のプルーニングで、英語の理解度は1.7ポイント低下したが、リトアニア語は21.4ポイント低下した。 最後の層では、リトアニアは専門家の55～72%を8人の専門家に送っており、英語は19～39%である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expert pruning compresses Mixture-of-Experts (MoE) language models by removing the experts that a calibration set marks as unimportant. Studies of high-resource languages largely find that English calibration transfers well to other languages. We test this for Lithuanian: we pruned four MoE models with REAP, removing 25% or 50% of the experts with English, Lithuanian or mixed calibration, and evaluated both languages on reading comprehension, translation and language modelling. English calibration does not transfer to Lithuanian: at 25% pruning, English comprehension fell by a median of 1.7 points but Lithuanian by 21.4. The transfer is asymmetric. Lithuanian calibration removed most of the Lithuanian loss and never significantly hurt English comprehension, which was on average 2.5 points better than under English calibration; only English language modeling got slightly worse. Routing suggests why: in the last layers, Lithuanian sends 55-72% of its expert selections to just eight experts, against 19-39% for English, and English calibration removes some of these experts. Compressed models should be calibrated, and evaluated, in every language they must serve.
• Abstract（参考訳）: エキスパートプルーニングは、キャリブレーションセットが重要でないことを示す専門家を取り除くことで、Mixture-of-Experts (MoE)言語モデルを圧縮する。 高リソース言語の研究は、英語の校正が他の言語にうまく伝達されていることをほとんど見いだしている。 私たちは4つのMoEモデルをREAPで解析し、英語、リトアニア語、混合校正の専門家の25%または50%を除去し、理解、翻訳、言語モデリングについて両方の言語を評価しました。 英語のキャリブレーションはリトアニア語に移行せず、25%のプルーニングで、英語の理解度は1.7ポイント低下したが、リトアニア語は21.4ポイント低下した。 転移は非対称である。 リトアニアのキャリブレーションはリトアニアの損失の大半を取り除き、英語の理解を著しく損なうことはなかった。 最後の階層では、リトアニアは専門家の55～72%を8人の専門家に送っており、英語は19～39%、英語の校正は一部の専門家を排除している。 圧縮されたモデルは、すべての言語で校正され、評価されなければならない。

関連論文リスト

• Choosing the Right Language Mode at Inference Time for Multilingual Reliability [3.6095388702618405]
  大規模な言語モデルは、低級から中級の言語では推論に苦慮することが多い。 以前の研究によると、翻訳は、より強い英語中心の表現へのアクセスを支援することで、多言語推論を改善することができる。 これは、多言語の大言語モデルが確実に推論するためにどのくらいの翻訳が必要かという、中心的な疑問を提起する。
  論文  参考訳（メタデータ） (2026-09-04T02:36:26Z)
• Comparison of Modern Multilingual Text Embedding Techniques for Hate Speech Detection Task [0.0]
  我々は、ニュースポータルやソーシャルネットワークから派生したリトアニアのヘイトスピーチコーパスであるLtHateを紹介する。 統一Pythonパイプラインを使用して,LtHate,RuToxic,EnSupersetの6つのモダン多言語エンコーダ(potion, gemma, bge, Snow, jina, e5)をベンチマークした。 各埋め込みにおいて,64次元特徴ベクトルに対する主成分分析 (PCA) の圧縮を伴わず,一級HBOS異常検出器と二級CatBoostの両方を訓練する。 すべてのデータセットにまたがって、2つのクラスの教師付きモデルが一貫して、1つのクラスの異常検出を大幅に上回っている。
  論文  参考訳（メタデータ） (2026-04-16T11:49:13Z)
• Left Behind: Cross-Lingual Transfer as a Bridge for Low-Resource Languages in Large Language Models [0.0]
  我々は、英語、カザフ語、モンゴル語で、精度、流布度、完全性に関する大規模な言語モデルをベンチマークする。 英語と低リソースの言語条件の間には,13.8～16.7ポイントという一貫したパフォーマンスギャップがある。
  論文  参考訳（メタデータ） (2026-03-22T03:27:47Z)
• Calibrating Beyond English: Language Diversity for Better Quantized Multilingual LLM [10.689556615369272]
  非英語および多言語キャリブレーションセットは、英語のみのベースラインに比べてパープレキシティを著しく改善する。 キャリブレーションセットを評価言語に調整すると、個々の言語で最大の改善が得られます。
  論文  参考訳（メタデータ） (2026-01-26T09:36:03Z)
• Beyond the Final Layer: Intermediate Representations for Better Multilingual Calibration in Large Language Models [50.34755385896279]
  大規模言語モデル(LLM)の信頼性確保には信頼度校正が不可欠である 6つのモデルファミリーと100以上の言語にまたがる多言語キャリブレーションの大規模かつ体系的な研究を行う。 非英語言語は体系的に悪い校正に苦しむ。
  論文  参考訳（メタデータ） (2025-10-03T16:07:15Z)
• On the Calibration of Multilingual Question Answering LLMs [57.296161186129545]
  複数の多言語大言語モデル(MLLM)のキャリブレーションを様々な質問応答タスクでベンチマークする。 本研究では,分布内,分布外,言語間移動設定におけるキャリブレーションの異なる次元について検討する。 LlaMa2のようなデコーダのみのLLMでは、コンテキスト内学習は多言語データの信頼性校正を改善する。
  論文  参考訳（メタデータ） (2023-11-15T03:29:02Z)
• Memory-efficient NLLB-200: Language-specific Expert Pruning of a Massively Multilingual Machine Translation Model [92.91310997807936]
  NLLB-200は202言語をカバーする多言語ニューラルネットワークモデルである。 そこで本研究では,最大80%のエキスパートの除去を,それ以上の微調整を行なわずに行うことができるプルーニング法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T19:29:40Z)
• On the Calibration of Massively Multilingual Language Models [15.373725507698591]
  超多言語言語モデル(MMLM)は、最近、言語間移動における驚くべき効果により人気を博している。 まず,ゼロショット設定におけるMMLMの校正について検討し,低リソース言語における誤校正の明確な事例を観察する。 また、言語の少数例はキャリブレーションエラーを減らすのに役立ちます。
  論文  参考訳（メタデータ） (2022-10-21T21:41:56Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。