論文の概要: Lightweight but Linguistically Fair? Quantisation Robustness across Bavarian, German, and English

• arxiv url: http://arxiv.org/abs/2610.18343v1
• Date: Tue, 13 Oct 2026 13:15:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.617491
• Title: Lightweight but Linguistically Fair? Quantisation Robustness across Bavarian, German, and English
• Title（参考訳）: 軽量だが言語学的に公正か?バイエルン語、ドイツ語、英語の量子化ロバスト性
• Abstract要約: トレーニング後の量子化により、大きな言語モデルのメモリコストが削減される。 圧縮が地域品種の言語スキルを標準言語と同じくらい確実に保存するかどうかは不明である。 本稿では,バイエルン語,標準ドイツ語,英語について,複数選択ベンチマークであるBAVGROUNDを用いて検討する。
• 参考スコア（独自算出の注目度）: 0.23999111269325268
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Post-training quantisation reduces the memory cost of large language models, but it remains unclear whether compression preserves language skills of regional varieties as reliably as their standard-language counterparts. We study this question for Bavarian, Standard German, and English using BAVGROUND, a multiple-choice benchmark, where 206 source questions are aligned across all three languages. Across 14 open-weight 7B--10B instruction models, we compare BF16 with 8-bit GPTQ and two 4-bit settings, GPTQ and AWQ. Eight-bit GPTQ remains close to BF16 and largely preserves the relative behaviour of the three languages, while 4-bit quantisation was found to be much less stable. The two 4-bit methods reduce average accuracy by about 1.4--1.5 percentage points and change 11.9--16.0% of BF16 decisions, with changes concentrated on examples where the BF16 model is already uncertain. This instability does not translate into a consistent Bavarian disadvantage. Although Bavarian, a low-resource dialect, has lower baseline accuracy than German and English, the language most affected at 4 bits varies across models and quantisation methods. Calibration further shapes these cross-language effects: the relative Bavarian--German effect changes with calibration language, while changing the calibration source has little average effect on GPTQ-4 but can affect AWQ-4 much more strongly. Free-form evaluation on five models further shows that 4-bit compression can degrade generated responses even in settings where multiple-choice accuracy changes only modestly, while 8-bit GPTQ remains comparatively stable. Overall, our results show that quantisation robustness for regional language varieties depends on the model, quantisation method, calibration data, and evaluation setting, and cannot be measured by aggregate multilingual accuracy alone.
• Abstract（参考訳）: 学習後の量子化は、大規模言語モデルのメモリコストを低減させるが、圧縮が地域品種の言語スキルを標準言語モデルと同じくらい確実に保存するかどうかは不明である。 この質問はバイエルン語、標準ドイツ語、英語の3つの言語で206のソース質問が一致している多重選択ベンチマークであるBAVGROUNDを用いて研究する。 14個のオープンウェイト7B--10B命令モデルを用いて,BF16と8ビットGPTQ,2つの4ビット設定,GPTQとAWQを比較した。 8ビットのGPTQはBF16に近いままで、3つの言語の相対的な振る舞いを保っているが、4ビットの量子化はより安定ではないことが判明した。 2つの4ビット法は平均精度を約1.4-1.5ポイント削減し、BF16決定の1.9-16.0%を変更した。 この不安定性は、一貫したバイエルン不利に変換されない。 低リソースの方言であるバイエルン語はドイツ語や英語よりもベースライン精度が低いが、最も影響を受ける言語はモデルや量子化法によって異なる。 キャリブレーションはこれらの言語間の効果をさらに形作っている: 相対的バイエルン・ドイツ効果はキャリブレーション言語で変化するが、キャリブレーション源の変更はGPTQ-4にはほとんど影響しないが、より強くAWQ-4に影響を与える可能性がある。 5モデルのフリーフォーム評価により、複数選択精度がわずかに変化しても4ビット圧縮は生成した応答を劣化させることができるが、8ビットのGPTQは比較的安定である。 以上の結果から,地域言語品種の量子化ロバスト性は,モデル,量子化法,キャリブレーションデータ,評価設定に依存し,多言語的精度だけでは測定できないことが明らかとなった。

関連論文リスト

• Quantization Effects on Bangla Language Understanding in Large Language Models: A Systematic Evaluation [0.0]
  トレーニング後の量子化は、Large Language Models(LLM)のメモリフットプリントを低くし、推論を高速化する。 バングラ語のような形態学的に複雑な低リソース言語についても、同じことが当てはまるかどうかは定かではない。 Qwen-2.5-7B, LLaMA-3.1-8B, GPT-OSS-20Bの3つのモデルファミリを完全精度と3種類の量子化形式で評価した。
  論文  参考訳（メタデータ） (2026-08-25T14:36:09Z)
• Not All 4-bit Quantizers Are Equal: Deployment-Time Mitigation of PII Leakage in Fine-Tuned Small Language Models [0.0]
  圧縮法はプライバシーにも影響を及ぼすことを示す。 メソッドを分離するのはビット幅ではなく、小さなテキストのサンプルでラウンドを調整しているかどうかだ。
  論文  参考訳（メタデータ） (2026-08-02T14:49:53Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• Calibrating Beyond English: Language Diversity for Better Quantized Multilingual LLM [10.689556615369272]
  非英語および多言語キャリブレーションセットは、英語のみのベースラインに比べてパープレキシティを著しく改善する。 キャリブレーションセットを評価言語に調整すると、個々の言語で最大の改善が得られます。
  論文  参考訳（メタデータ） (2026-01-26T09:36:03Z)
• The Uneven Impact of Post-Training Quantization in Machine Translation [6.398727997282354]
  資源制約のあるハードウェア上での大規模言語モデル(LLM)の展開には量子化が不可欠だが、多言語タスクに対するその意味は未解明のままである。 我々は,1.7Bから70Bパラメータの5つのLLMを用いて,55言語にわたる機械翻訳におけるPTQの大規模評価を行った。 分析の結果,4ビットの量子化は高リソース言語では翻訳品質を保ちがちであるが,低リソース言語やタイポロジーに富んだ言語では,特に2ビット設定では顕著な劣化が発生することがわかった。
  論文  参考訳（メタデータ） (2025-08-28T15:22:31Z)
• ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
  量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。 最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。 我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
  論文  参考訳（メタデータ） (2022-12-19T18:48:33Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。