論文の概要: English K_Quantization of LLMs Does Not Disproportionately Diminish Multilingual Performance

• arxiv url: http://arxiv.org/abs/2503.03592v1
• Date: Wed, 05 Mar 2025 15:26:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:53:37.601862
• Title: English K_Quantization of LLMs Does Not Disproportionately Diminish Multilingual Performance
• Title（参考訳）: 英語K_Quantization of LLMs does not disproportionately diminish multilingual performance
• Authors: Karl Audun Borgersen,
• Abstract要約: 本稿では,多言語のパフォーマンスを犠牲にして,英語タスクのパフォーマンスが維持されたかどうかを考察する。 k_quantizationに関するすべての実験は、重要でない結果を得た。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: For consumer usage of locally deployed LLMs, the GGUF format and k_quantization are invaluable tools for maintaining the performance of the original model while reducing it to sizes deployable with consumer-grade hardware. The number of bits dedicated to each weight from the original model is reduced based on how important they are thought to be during model inference. This importance is arrived at through the application of an 'importance matrix'-a relatively small text document meant to be representative of the LLM's standard use-cases. In the vast majority of quants available online, this document is primarily written in English. It was therefore an open question whether performance on English language tasks was preserved through the sacrifice of multilingual performance and whether it can be preserved with alternate importance matrices. This article investigates these hypotheses by quantizing Llama3.3 70B on importance matrices written in three languages (English, Norwegian, and Malayalam) and evaluating them on the MixEval dataset in both English and Norwegian. All experiments related to k_quantization yielded non-significant results (In all cases p > 0.237) indicating that current quantization practices do not disproportionately harm multilingual performance.
• Abstract（参考訳）: GGUFフォーマットとk_quantizationは、ローカルにデプロイされたLCMの消費者利用において、元のモデルの性能を維持する上で貴重なツールであると同時に、コンシューマグレードのハードウェアでデプロイ可能なサイズにまで縮小する。 元のモデルから各重みに割り当てられたビットの数は、モデル推論においてどれだけ重要かに基づいて減少する。 この重要性は、LLMの標準ユースケースを表すための比較的小さな文書である「重要行列」の適用によってもたらされる。 オンラインで入手可能なほとんどの量では、この文書は主に英語で書かれている。 したがって、多言語のパフォーマンスを犠牲にして英語のタスクのパフォーマンスが維持されたのか、また、他の重要な行列で保存できるのか、という疑問が浮かび上がった。 本稿では,Llama3.370Bを3つの言語(英語,ノルウェー語,マラヤラム語)で記述された重要な行列について定量化し,英語とノルウェー語のMixEvalデータセットで評価することにより,これらの仮説を考察する。 k_quantizationに関連するすべての実験は、非有意な結果(すべての場合 p > 0.237)を得た。

関連論文リスト

• Small Models, Big Impact: Efficient Corpus and Graph-Based Adaptation of Small Multilingual Language Models for Low-Resource Languages [10.418542753869433]
  低リソース言語(LRL)は、限られたデータのために自然言語処理(NLP)において重大な課題に直面している。 現在の最先端の大規模言語モデル(LLM)は、まだLRLと競合している。 mBERTやXLM-Rのような小さなマルチリンガルモデル(mLM)は、トレーニングデータサイズに適合する能力が向上するため、より有望である。
  論文  参考訳（メタデータ） (2025-02-14T13:10:39Z)
• A comparison of data filtering techniques for English-Polish LLM-based machine translation in the biomedical domain [2.490363177524421]
  本稿では,バイオメディカルドメイン内の英語・ポーランド語翻訳におけるデータフィルタリング手法の影響について検討する。 我々はmBART50モデルを微調整するために様々なデータセットサイズを作成し、SacreBLEU測定値を用いて評価した。 この結果から,LASERとMUSEはどちらも,性能の維持や向上を図りながら,データセットサイズを大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2025-01-27T22:12:09Z)
• Can General-Purpose Large Language Models Generalize to English-Thai Machine Translation ? [2.1969983462375318]
  大規模言語モデル(LLM)は、一般的なタスクではうまく機能するが、低リソースおよび低計算環境での一般化に苦慮する。 本研究は,英語-タイ語機械翻訳とコードスイッチングデータセット上で,様々なLLMと特殊翻訳モデルをテストすることにより,この制限を検証した。
  論文  参考訳（メタデータ） (2024-10-22T16:26:03Z)
• How Does Quantization Affect Multilingual LLMs? [50.867324914368524]
  量子化技術は、大規模な言語モデルの推論速度と展開を改善するために広く使われている。 量子化多言語LLMの徹底的な分析を行い、言語間の性能と様々なスケールに焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-03T15:39:40Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Fine-Tuning Large Language Models to Translate: Will a Touch of Noisy Data in Misaligned Languages Suffice? [33.376648335299116]
  大きな言語モデル(LLM)は、32のパラレル文で微調整された後、強い翻訳能力を示す。 英語のみを対象とするLLMは、非英語への翻訳を妨げるタスクの誤解釈につながる可能性がある。 未表現言語で合成されたデータは、顕著な効果が低い。
  論文  参考訳（メタデータ） (2024-04-22T12:21:12Z)
• The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
  本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。 その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:50Z)
• On the Calibration of Multilingual Question Answering LLMs [57.296161186129545]
  複数の多言語大言語モデル(MLLM)のキャリブレーションを様々な質問応答タスクでベンチマークする。 本研究では,分布内,分布外,言語間移動設定におけるキャリブレーションの異なる次元について検討する。 LlaMa2のようなデコーダのみのLLMでは、コンテキスト内学習は多言語データの信頼性校正を改善する。
  論文  参考訳（メタデータ） (2023-11-15T03:29:02Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。