論文の概要: Calibrating Beyond English: Language Diversity for Better Quantized Multilingual LLM

• arxiv url: http://arxiv.org/abs/2601.18306v1
• Date: Mon, 26 Jan 2026 09:36:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.759568
• Title: Calibrating Beyond English: Language Diversity for Better Quantized Multilingual LLM
• Title（参考訳）: 英語を超えたキャリブレーション: 量子化された多言語LLMのための言語多様性
• Authors: Everlyn Asiko Chimoto, Mostafa Elhoushi, Bruce A. Bassett,
• Abstract要約: 非英語および多言語キャリブレーションセットは、英語のみのベースラインに比べてパープレキシティを著しく改善する。 キャリブレーションセットを評価言語に調整すると、個々の言語で最大の改善が得られます。
• 参考スコア（独自算出の注目度）: 10.689556615369272
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantization is an effective technique for reducing the storage footprint and computational costs of Large Language Models (LLMs), but it often results in performance degradation. Existing post-training quantization methods typically use small, English-only calibration sets; however, their impact on multilingual models remains underexplored. We systematically evaluate eight calibration settings (five single-language and three multilingual mixes) on two quantizers (GPTQ, AWQ) on data from 10 languages. Our findings reveal a consistent trend: non-English and multilingual calibration sets significantly improve perplexity compared to English-only baselines. Specifically, we observe notable average perplexity gains across both quantizers on Llama3.1 8B and Qwen2.5 7B, with multilingual mixes achieving the largest overall reductions of up to 3.52 points in perplexity. Furthermore, our analysis indicates that tailoring calibration sets to the evaluation language yields the largest improvements for individual languages, underscoring the importance of linguistic alignment. We also identify specific failure cases where certain language-quantizer combinations degrade performance, which we trace to differences in activation range distributions across languages. These results highlight that static one-size-fits-all calibration is suboptimal and that tailoring calibration data, both in language and diversity, plays a crucial role in robustly quantizing multilingual LLMs.
• Abstract（参考訳）: 量子化は、Large Language Models (LLM) のストレージフットプリントと計算コストを削減する効果的な手法であるが、しばしば性能劣化をもたらす。 既存の訓練後の量子化法では、通常は英語のみの小さな校正セットを用いるが、多言語モデルに対するその影響は未定である。 10言語のデータに基づいて2つの量化器(GPTQ, AWQ)上で8つのキャリブレーション設定(5つの単一言語と3つの多言語混合)を体系的に評価した。 非英語・多言語キャリブレーションセットは英語のみのベースラインに比べて難易度を著しく改善する。 具体的には、Llama3.1 8B と Qwen2.5 7B の両量子化器における平均パープレキシティの顕著な上昇を観察し、多言語混合はパープレキシティにおいて最大3.52ポイントの全体的な減少を達成する。 さらに,評価言語に対する校正セットの調整は,言語アライメントの重要性を浮き彫りにして,個々の言語に対して最大の改善をもたらすことが示唆された。 また、特定の言語-量子化器の組み合わせが性能を低下させる特定の障害事例を特定し、言語間でのアクティベーション範囲の分布の違いを追及する。 これらの結果は,静的な一様キャリブレーションが最適以下であり,言語と多様性の両方においてキャリブレーションデータの調整が,多言語LLMの堅牢な定量化において重要な役割を担っていることを浮き彫りにしている。

関連論文リスト

• Investigating the Multilingual Calibration Effects of Language Model Instruction-Tuning [58.355275813623685]
  本研究は,多言語設定における大規模言語モデル(LLM)の校正における重要なギャップについて考察する。 低リソース言語であっても、高リソース言語SFTデータセットのインストラクションチューニング後にモデルの信頼性が著しく向上する可能性がある。 しかし、精度の改善は限界的あるいは存在しないものであり、多言語言語における標準SFTの重大な欠点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2026-01-04T04:29:12Z)
• Investigating Language-Specific Calibration For Pruning Multilingual Large Language Models [11.421452042888523]
  多様な言語,タスク,モデル,および SotA プルーニング技術を用いて,多言語モデルをプルーニングするためのキャリブレーション言語を比較した。 例えば、ターゲット言語を校正することで、効率的に言語モデリング能力を維持することができるが、必ずしも下流タスクに利益をもたらすとは限らない。
  論文  参考訳（メタデータ） (2024-08-26T16:29:13Z)
• How Does Quantization Affect Multilingual LLMs? [50.867324914368524]
  量子化技術は、大規模な言語モデルの推論速度と展開を改善するために広く使われている。 量子化多言語LLMの徹底的な分析を行い、言語間の性能と様々なスケールに焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-03T15:39:40Z)
• On the Calibration of Multilingual Question Answering LLMs [57.296161186129545]
  複数の多言語大言語モデル(MLLM)のキャリブレーションを様々な質問応答タスクでベンチマークする。 本研究では,分布内,分布外,言語間移動設定におけるキャリブレーションの異なる次元について検討する。 LlaMa2のようなデコーダのみのLLMでは、コンテキスト内学習は多言語データの信頼性校正を改善する。
  論文  参考訳（メタデータ） (2023-11-15T03:29:02Z)
• On the Calibration of Massively Multilingual Language Models [15.373725507698591]
  超多言語言語モデル(MMLM)は、最近、言語間移動における驚くべき効果により人気を博している。 まず,ゼロショット設定におけるMMLMの校正について検討し,低リソース言語における誤校正の明確な事例を観察する。 また、言語の少数例はキャリブレーションエラーを減らすのに役立ちます。
  論文  参考訳（メタデータ） (2022-10-21T21:41:56Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。