論文の概要: The Multilingual Quantization Tax: Structural Collapse and Typological Fragility in Edge SLMs

• arxiv url: http://arxiv.org/abs/2608.09941v1
• Date: Sun, 21 Jun 2026 05:36:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.178721
• Title: The Multilingual Quantization Tax: Structural Collapse and Typological Fragility in Edge SLMs
• Title（参考訳）: マルチリンガル量子化税--エッジSLMの構造崩壊とタイポロジーの脆弱性-
• Abstract要約: Gemma 4およびQwen 3.5アーキテクチャにおける4ビット量子化のゼロショット評価について述べる。 MMLU ProX LiteとGlobalPIQAを用いて,8つの類型的言語について検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While 4-bit weight quantization is critical for deploying Small Language Models (SLMs) on edge devices, evaluations of the resulting performance degradation-the quantization tax-remain overwhelmingly English-centric. We present a zero-shot multilingual evaluation of 4-bit quantization across the Gemma 4 and Qwen 3.5 architectures. Evaluating on eight typo-logically diverse languages using MMLU ProX Lite and GlobalPIQA, we show parameter truncation exposes deep pre-training inequalities. We identify four phenomena: (1) Typological Fragility: low-resource and specific non-Latin scripts suffer representational collapse via architecture-specific double dissociations, failing to generate valid task logits; (2) Home Language Fragility Paradox: foundational pre-training pathways provide limited precision loss protection; (3) Domain-Specific Forgetting: multi-step cross-lingual routing degrades while associative soft-science recall remains robust; and (4) Quantization Resistance: highly saturated, typologically aligned domains resist deterministic degradation, with post-quantization performance gains bounded by statistical noise.
• Abstract（参考訳）: 4ビットの重み量子化は、エッジデバイスにSLM(Small Language Models)を配置するために重要であるが、結果として生じる性能劣化の評価は、圧倒的に英語中心である。 Gemma 4 および Qwen 3.5 アーキテクチャにおける 4 ビット量子化のゼロショット多言語評価について述べる。 MMLU ProX LiteとGlobalPIQAを用いて,8つの類型的多様言語の評価を行い,パラメータ乱れが事前学習の不等式を表わすことを示した。 筆者らは,(1)低リソースおよび特定の非ラテン文字が,アーキテクチャ固有の二重解離による表現的崩壊に苦しむこと,(2)ホームランゲージ・フラッグリティ・パラドックス:基礎的な事前学習経路が限定的な精度の損失保護を提供すること,(3)ドメイン特化:多段階の言語横断的ルーティングの低下,(4)連想的ソフトサイエンスリコールが頑健であること,(4)量子化抵抗:高度に飽和し,タイポロジーに整合したドメインは,統計的雑音による決定論的劣化を抑えること,の4つの現象を同定した。

関連論文リスト

• Lost in Reordering: Structural Sensitivity of Multilingual LLMs under Semantics-Preserving Perturbations [19.00420862366793]
  大規模言語モデル(LLM)は、多言語推論性能を示すが、セマンティクスの保存構造的変動に対する頑健さは未解明のままである。 ヒンディー語とマラヤラム語における2つの言語基盤摂動設定を用いた多言語LLMの構造感度について検討した。 我々は、構造的摂動入力下での数学的推論性能の一貫性と顕著な劣化を観察する。
  論文  参考訳（メタデータ） (2026-09-03T08:10:43Z)
• Language-Conditional Dequantization: Recovering What Quantization Steals from Non-English Languages [0.0]
  サブ4B INT3 GPTQでは、英語よりも英語以外の言語では2-4倍のパープレキシティ劣化が観測されている。 本稿では,Language-Conditional Dequantization (LCD)を提案する。 Qwen2.5-3B と Llama-3.2-3B 全体で、LCD は非ラテン文字言語におけるパープレキシティギャップの 70-83% を回復し、GlobalMMLU の精度ギャップの 17-28% を回復した。
  論文  参考訳（メタデータ） (2026-08-12T08:28:03Z)
• ANCHOR: Autoregressive Non-intrusive Chunk-Ordered Refinement for Joint Multi-Resolution Speech Quality Modeling [62.983372215479925]
  ストリーミングと生成システムは、部分的なオーディオから漸進的な推定を必要とする。 多分解能オートレタスクとしてインクリメンタルアセスメントを改良したANCHORを提案する。 2秒プレフィックスの48%のPLCMOSエラー削減を含む、部分入力下でのかなりの堅牢性を示す実験。
  論文  参考訳（メタデータ） (2026-06-08T22:46:30Z)
• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• KIT-TIP-NLP at MultiPride: Continual Learning with Multilingual Foundation Model [0.06999740786886534]
  このフレームワークは、データ不足、クラス不均衡、感情表現の言語間変異といった、相互に絡み合った3つの方法論的課題を処理する。 クロスバリデーションによるデータ駆動モデル選択、バックトランスレーションによるセマンティック保存強化、動的エポックレベルのアンダーサンプリングによるインダクティブトランスファー学習、ドメイン固有の知識注入を統合する。 RUN 1 は拡張とアンダーサンプリングによる帰納的伝達学習であり、RUN 2 はマスク付き言語モデリング事前学習、RUN 3 と RUN 4 は ROC 分析によって最適化された言語固有の決定しきい値によって改善された以前の予測である。
  論文  参考訳（メタデータ） (2026-05-13T12:10:47Z)
• Parallel Universes, Parallel Languages: A Comprehensive Study on LLM-based Multilingual Counterfactual Example Generation [49.2073409243885]
  大規模言語モデル(LLM)は、英語の対物生成に優れ、多言語習熟度を示す。 対象言語における直接生成された反事実と6言語間の英訳によって導出されるものの両方について自動評価を行う。 言語間で生成した偽物に一貫して現れる4つの主要なエラーを識別し分類する。
  論文  参考訳（メタデータ） (2026-01-01T08:53:49Z)
• Low-Resource English-Tigrinya MT: Leveraging Multilingual Models, Custom Tokenizers, and Clean Evaluation Benchmarks [6.177998679139308]
  ニューラルネットワーク翻訳(NMT)の進歩にもかかわらず、Tigrinyaのような低リソース言語はいまだに保存されていない。 本稿では,多言語事前学習モデルを用いた翻訳学習手法について検討し,形態的に豊かな低リソース言語に対する翻訳品質を向上させる。
  論文  参考訳（メタデータ） (2025-09-24T15:02:57Z)
• The Uneven Impact of Post-Training Quantization in Machine Translation [6.398727997282354]
  資源制約のあるハードウェア上での大規模言語モデル(LLM)の展開には量子化が不可欠だが、多言語タスクに対するその意味は未解明のままである。 我々は,1.7Bから70Bパラメータの5つのLLMを用いて,55言語にわたる機械翻訳におけるPTQの大規模評価を行った。 分析の結果,4ビットの量子化は高リソース言語では翻訳品質を保ちがちであるが,低リソース言語やタイポロジーに富んだ言語では,特に2ビット設定では顕著な劣化が発生することがわかった。
  論文  参考訳（メタデータ） (2025-08-28T15:22:31Z)
• How Does Quantization Affect Multilingual LLMs? [50.867324914368524]
  量子化技術は、大規模な言語モデルの推論速度と展開を改善するために広く使われている。 量子化多言語LLMの徹底的な分析を行い、言語間の性能と様々なスケールに焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-03T15:39:40Z)
• Uncertainty-Aware Balancing for Multilingual and Multi-Domain Neural Machine Translation Training [58.72619374790418]
  MultiUATはモデルの不確実性に基づいてトレーニングデータの使用量を動的に調整する。 クロスドメイン転送を解析し、静的および類似性に基づく手法の欠如を示す。
  論文  参考訳（メタデータ） (2021-09-06T08:30:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。