論文の概要: Language-Conditional Dequantization: Recovering What Quantization Steals from Non-English Languages

• arxiv url: http://arxiv.org/abs/2608.11786v1
• Date: Wed, 12 Aug 2026 08:28:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.518868
• Title: Language-Conditional Dequantization: Recovering What Quantization Steals from Non-English Languages
• Title（参考訳）: 言語中心のデクエント化:非英語からの量子化規則の検索
• Abstract要約: サブ4B INT3 GPTQでは、英語よりも英語以外の言語では2-4倍のパープレキシティ劣化が観測されている。 本稿では,Language-Conditional Dequantization (LCD)を提案する。 Qwen2.5-3B と Llama-3.2-3B 全体で、LCD は非ラテン文字言語におけるパープレキシティギャップの 70-83% を回復し、GlobalMMLU の精度ギャップの 17-28% を回復した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Aggressive quantization disproportionately harms multilingual capability: in the sub-4B INT3 GPTQ regime, we measure 2-4x larger perplexity degradation on non-English languages than on English. We propose Language-Conditional Dequantization (LCD), a post-hoc method that attaches per-language rank-2 LoRA corrections to the linear layers of an already-quantized model, adding 0.12% parameters per language and training in under 20 minutes on a single GPU. Across Qwen2.5-3B and Llama-3.2-3B, LCD recovers 70-83% of the perplexity gap for non-Latin script languages and 17-28% of the GlobalMMLU accuracy gap, outperforming a language-agnostic correction of equal capacity by 3-9 points on typologically distant languages and a data-free low-rank baseline (LQER) by an order of magnitude. We further identify a perplexity-accuracy disconnect and trace it to where quantization concentrates damage: early-depth errors (Llama) propagate downstream and resist local correction, while late-depth errors (Qwen) do not. A layer-restricted variant of LCD validates this mechanism directly.
• Abstract（参考訳）: 攻撃的量子化は多言語能力に不均衡に影響を及ぼす: sub-4B INT3 GPTQ 体制では、非英語言語では英語よりも2-4倍大きなパープレキシティ劣化を測定する。 本稿では,Language-Conditional Dequantization (LCD) を提案する。Language-Conditional Dequantization (LCD) は,Language-Conditional Dequantization (Language-Conditional Dequantization) において,Language-Conditional Dequantization (Language-Conditional Dequantization,Language-Conditional Dequantization) を1つのGPU上で20分以内のトレーニングを行う。 Qwen2.5-3B と Llama-3.2-3B 全体で、LCD は非ラテン文字言語の難易度ギャップの 70～83% を回復し、GlobalMMLU の精度ギャップの 17～28% を回復し、類型的に離れた言語では3～9ポイント、データのない低ランクベースライン (LQER) を桁違いに補正した。 初期深度誤差(Llama)は下流を伝播し、局所的な補正に抵抗するが、後期深度誤差(Qwen)はそうではない。 層制限型LCDは、この機構を直接検証する。

関連論文リスト

• Beyond Cross-Lingual Transfer: Benchmarking Propagation Boundaries in Multilingual LLM Unlearning [80.05116806217397]
  大言語モデル(LLM)のアンラーニングは、汎用性を保ちながら、目標とする知識を抑えることを目的としている。 CLLPU(Cross-Lingual and Language-Bound Protocol for LLM Unlearning)は,この問題を2つの設定で定式化する多言語ベンチマークである。 目標とする知識がすべての言語で抑制されるべき共通目標の忘れ、言語条件の忘れ、抑圧は指定された言語に限定されるべきである。
  論文  参考訳（メタデータ） (2026-09-05T08:26:15Z)
• Choosing the Right Language Mode at Inference Time for Multilingual Reliability [3.6095388702618405]
  大規模な言語モデルは、低級から中級の言語では推論に苦慮することが多い。 以前の研究によると、翻訳は、より強い英語中心の表現へのアクセスを支援することで、多言語推論を改善することができる。 これは、多言語の大言語モデルが確実に推論するためにどのくらいの翻訳が必要かという、中心的な疑問を提起する。
  論文  参考訳（メタデータ） (2026-09-04T02:36:26Z)
• Extending Item Response Theory for Efficient and Meaningful Multilingual Evaluation [19.965981631741894]
  マルチ言語ベンチマークは、言語全体にわたる大規模言語モデル(LLM)の評価の中心である。 徹底的な評価は言語数とともに線形にスケールし、自動翻訳はスケールで見落とされるエラーを導入し、いくつかの項目は一般的な知識と文化固有の知識を詳述する。 我々はこれら3つを統一的な統計フレームワークであるMultilingual-IRTで解決し、言語ごとの難易度差による項目応答理論を拡張した。
  論文  参考訳（メタデータ） (2026-06-14T07:16:03Z)
• From Context Shift to Stylistic Collapse: Why Training Objectives Matter More Than Scale [1.2328006781720982]
  現代のパイプラインで訓練された言語モデルは、言語的特徴の厳格な再構成を示し、極端な言語の再配布につながった。 言語を動機づけた24のプローブを用いて17のモデル(410M-100B+パラメータ)を分析した。 我々の研究は、現在のアライメントパイプラインの構造的制限を明らかにし、AI検出、データ汚染のトレーニング、長期の言語進化に影響を及ぼす。
  論文  参考訳（メタデータ） (2026-04-08T02:13:46Z)
• Calibrating Beyond English: Language Diversity for Better Quantized Multilingual LLM [10.689556615369272]
  非英語および多言語キャリブレーションセットは、英語のみのベースラインに比べてパープレキシティを著しく改善する。 キャリブレーションセットを評価言語に調整すると、個々の言語で最大の改善が得られます。
  論文  参考訳（メタデータ） (2026-01-26T09:36:03Z)
• Investigating the Multilingual Calibration Effects of Language Model Instruction-Tuning [58.355275813623685]
  本研究は,多言語設定における大規模言語モデル(LLM)の校正における重要なギャップについて考察する。 低リソース言語であっても、高リソース言語SFTデータセットのインストラクションチューニング後にモデルの信頼性が著しく向上する可能性がある。 しかし、精度の改善は限界的あるいは存在しないものであり、多言語言語における標準SFTの重大な欠点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2026-01-04T04:29:12Z)
• Language steering in latent space to mitigate unintended code-switching [1.1330938617817454]
  大きな言語モデル(LLM)は意図しないコードスイッチングを示し、下流タスクの信頼性を低下させる。 並列翻訳におけるPCAによる言語方向を識別する軽量な推論時間法である潜在空間言語ステアリングを提案する。 提案手法は,計算オーバーヘッドの少ないセマンティクスを保ちながら,コードスイッチングを緩和する。
  論文  参考訳（メタデータ） (2025-10-11T19:49:38Z)
• How Does Quantization Affect Multilingual LLMs? [50.867324914368524]
  量子化技術は、大規模な言語モデルの推論速度と展開を改善するために広く使われている。 量子化多言語LLMの徹底的な分析を行い、言語間の性能と様々なスケールに焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-03T15:39:40Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• Vicinal Risk Minimization for Few-Shot Cross-lingual Transfer in Abusive Language Detection [19.399281609371258]
  高リソースから中低リソース言語への言語間変換学習は、励みのよい結果を示している。 我々は、言語間乱用言語検出を改善するために、ドメイン適応のためのデータ拡張と継続事前学習を利用する。
  論文  参考訳（メタデータ） (2023-11-03T16:51:07Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation [104.85258654917297]
  識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。 多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。 我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T12:43:31Z)
• Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
  言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。 i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
  論文  参考訳（メタデータ） (2020-08-20T17:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。