論文の概要: Quantization Effects on Bangla Language Understanding in Large Language Models: A Systematic Evaluation

• arxiv url: http://arxiv.org/abs/2608.24615v1
• Date: Tue, 25 Aug 2026 14:36:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:35.028508
• Title: Quantization Effects on Bangla Language Understanding in Large Language Models: A Systematic Evaluation
• Title（参考訳）: 大規模言語モデルにおけるバングラ語理解の量子化効果:体系的評価
• Abstract要約: トレーニング後の量子化は、Large Language Models(LLM)のメモリフットプリントを低くし、推論を高速化する。 バングラ語のような形態学的に複雑な低リソース言語についても、同じことが当てはまるかどうかは定かではない。 Qwen-2.5-7B, LLaMA-3.1-8B, GPT-OSS-20Bの3つのモデルファミリを完全精度と3種類の量子化形式で評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization lowers the memory footprint of Large Language Models (LLMs) and speeds up inference, which is why it is now common for on-device deployment. Most of what we know about its effects, however, comes from English benchmarks. It is not clear whether the same holds for morphologically complex, low-resource languages such as Bangla, and this gap is what we address here. We evaluate three model families---Qwen-2.5-7B, LLaMA-3.1-8B, and GPT-OSS-20B---in full precision and in three quantized formats (GPTQ-Int8, GPTQ-Q8, GGUF-W8A16) across five Bangla natural language understanding benchmarks (Bangla MMLU, CommonsenseQA-BN, OpenBookQA-BN, PIQA-BN, and BoolQ-BN), using zero-shot evaluation through lm-evaluation-harness. To our knowledge this is the first controlled comparison of quantization formats on Bangla NLU. The three families do not respond the same way: GPT-OSS loses up to 57.35% accuracy on reasoning-heavy tasks under GGUF-W8A16, while Qwen and LLaMA hold steady under GPTQ, and in a few cases the quantized version edges out the full-precision one. BoolQ-BN, a comprehension task, stays stable across all three families regardless of format. Taken together, these results suggest quantization can work well for Bangla deployment, but the choice of architecture and quantization method matters more than the bit width alone. We discuss what this means for practitioners choosing a model to run on constrained hardware.
• Abstract（参考訳）: トレーニング後の量子化は、Large Language Models(LLM)のメモリフットプリントを低くし、推論を高速化する。 しかし、その効果について私たちが知っていることのほとんどは、英語のベンチマークによるものだ。 同じことが、Banglaのような形態的に複雑で、低リソースな言語にも当てはまるかどうかは不明だ。 我々は,5つのバングラ自然言語理解ベンチマーク (Bangla MMLU, CommonsenseQA-BN, OpenBookQA-BN, PIQA-BN, BoolQ-BN) において,lm-evaluation-harnessによるゼロショット評価を用いて,-Qwen-2.5-7B, LLaMA-3.1-8B, GPT-OSS-20B---を全精度で評価し, 3種類の量子化形式(GPTQ-Int8, GPTQ-Q8, GGUF-W8A16)で評価した。 我々の知る限り、これはバングラNLUにおける量子化フォーマットの制御された最初の比較である。 GPT-OSSは57.35%の精度をGGUF-W8A16で失う一方、QwenとLLaMAはGPTQで安定している。 理解タスクであるBoolQ-BNは、フォーマットに関係なく3つのファミリーで安定している。 これらの結果は、量子化がBanglaのデプロイメントに有効であることを示しているが、アーキテクチャと量子化メソッドの選択は、ビット幅だけでは重要ではない。 制約のあるハードウェア上で実行するモデルを選択する実践者にとって、これが何を意味するかについて論じる。

関連論文リスト

• LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs [52.1276403258812]
  ブロックワイドPTQの簡易かつ効果的な拡張であるLFQ(Logit-aware Final-block Quantization)を導入する。 LFQは、最先端のブロックワイドPTQよりも複雑な生成タスクの精度を一貫して改善する。
  論文  参考訳（メタデータ） (2026-05-28T11:02:23Z)
• Adapting Large Language Models to a Low-Resource Agglutinative Language: A Comparative Study of LoRA and QLoRA for Bashkir [0.0]
  本稿では,大規模な言語モデルをBashkir言語に適応させるタスクに適用する,パラメータ効率のよい微調整手法の比較検討を行う。 各種アーキテクチャのモデルを用いた71k文書(46.9Mトークン)のBashkirテキストコーパスで実験評価を行った。
  論文  参考訳（メタデータ） (2026-05-06T14:14:35Z)
• Democratizing AI with Small Language Models: Structured Benchmarking and Parameter-Efficient Fine-Tuning for Local Deployment [0.0]
  135M と 3B パラメータ間の9つのオープンウェイト言語モデルを,局所的な配置を構造化したベンチマークで評価した。 共有パラメータ効率の微調整パイプラインは、4ビットのNF4量子化とDoRA/LoRAスタイルのアダプタを用いたモデルのサブセットをNVIDIA L4クラス予算で適応する。 ベース評価では、Qwen Coder 3Bが75.67%、Qwen2.5 1.5Bが67.10%、Qwen3.5 2Bが64.98%、Granite 3.3 2Bが64.61%である。
  論文  参考訳（メタデータ） (2026-05-05T02:36:09Z)
• Bielik-Q2-Sharp: A Comparative Study of Extreme 2-bit Quantization Methods for a Polish 11B Language Model [0.0]
  ポーランド語大言語モデルに適用された極端2ビット量子化の最初の体系的学術評価であるBielik-Q2-Sharpを提案する。 我々は、QuIP#、SpinQuant+GPTQ、ButterflyQuant、QTIP、VPTQ、AQLMの6つの最先端のポストトレーニング量子化手法を比較した。 私たちのベストバリアント(QuIP# E8P12)は22のポーランドのベンチマークで71.92%、IQ2_XXSベースラインでは72.07%を達成しています。
  論文  参考訳（メタデータ） (2026-03-04T15:19:35Z)
• OJBKQ: Objective-Joint Babai-Klein Quantization [13.930991942645276]
  OJBKQは、活性化と重みに対する共同最適化問題として重み量子化を定式化する層ワイドPTQ法である。 その結果,OJBKQは既存のPTQに比べて3,4ビットのパープレキシティが低いことがわかった。
  論文  参考訳（メタデータ） (2026-02-09T08:20:12Z)
• Does quantization affect models' performance on long-context tasks? [31.289794345238544]
  大きな言語モデル(LLM)は、128Kトークンを超えるコンテキストウィンドウをサポートするようになった。 我々は,長い入力(>64Kトークン)と長い出力を持つタスクに対して,量子化LDMを初めて体系的に評価する。 その結果,平均8ビット量子化では精度が0.8%低下し,4ビット法では大きな損失が生じることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T17:54:30Z)
• Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models [48.98109982725689]
  量子化推論モデルに関する最初の体系的研究を行う。 本研究は,様々なビット幅の最先端アルゴリズムを用いて,重み,KVキャッシュ,アクティベーション量子化について検討する。 モデルのサイズ、モデルの起源、タスクの難しさを、パフォーマンスの重要な決定要因とみなす。
  論文  参考訳（メタデータ） (2025-04-07T08:22:45Z)
• ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• Mitigating the Impact of Outlier Channels for Language Model Quantization with Activation Regularization [62.15918574997175]
  言語モデルには、平均値が他のチャネルよりも桁違いに高い外れ値チャネルが含まれていることが知られている。 本稿では,QAT(Quantization-Aware Training)とアクティベーション・カルトシス・正規化(Activation Kurtosis regularization)によって,レイヤの入力を正規化する戦略を提案する。 入力と出力の両方を正規化することは、入力量子化の難しさを重みに"移行"するのを防ぐために重要であることを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:25:30Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models [104.23434818428062]
  我々は、事前訓練されたモデルに量子化とLoRA微調整を併用するシナリオに焦点を当てる。 本稿では,新しい量子化フレームワークであるLoftQ(LoRA-Fine-Tuning-Aware Quantization)を提案する。 実験の結果,本手法は有効であり,既存の量子化法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-12T18:34:08Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。