論文の概要: The Hidden Costs of Translation Accuracy: Distillation, Quantization, and Environmental Impact

• arxiv url: http://arxiv.org/abs/2509.23990v2
• Date: Thu, 02 Oct 2025 13:15:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 14:32:17.141156
• Title: The Hidden Costs of Translation Accuracy: Distillation, Quantization, and Environmental Impact
• Title（参考訳）: 翻訳精度の隠れたコスト:蒸留・定量化・環境影響
• Authors: Dhaathri Vijay, Anandaswarup Vadapalli,
• Abstract要約: 大規模言語モデル(LLM)の急速な拡張により、計算コストや環境コストに対する懸念が高まっている。 本研究では, フルスケール, 蒸留, 定量化モデルを比較し, 翻訳品質と効率のトレードオフについて検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid expansion of large language models (LLMs) has heightened concerns about their computational and environmental costs. This study investigates the trade-offs between translation quality and efficiency by comparing full-scale, distilled, and quantized models using machine translation as a case study. We evaluated performance on the Flores+ benchmark and through human judgments of conversational translations in French, Hindi, and Kannada. Our analysis revealed that the full 3.3B FP32 model, while achieving the highest BLEU scores, incurred the largest environmental footprint (~ 0.007-0.008 kg CO2 per run). The distilled 600M FP32 model reduced inference time by 71-78% and carbon emissions by 63-65% compared with the full model, with only minimal reductions in BLEU scores. Human evaluations further showed that even aggressive quantization (INT4) preserved high levels of accuracy and fluency, with differences between models generally minor. These findings demonstrate that model compression strategies can substantially reduce computational demands and environmental impact while maintaining competitive translation quality, though trade-offs are more pronounced in low-resource settings. We argue for evaluation frameworks that integrate efficiency and sustainability alongside accuracy as central dimensions of progress in NLP.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な拡張により、計算コストや環境コストに対する懸念が高まっている。 本研究では,機械翻訳を用いた実スケール,蒸留,定量化モデルを比較し,翻訳品質と効率のトレードオフを事例として検討した。 フローレス+ベンチマークと,フレンチ,ヒンディー語,カンナダ語における会話翻訳の人為的判断による評価を行った。 解析の結果,フル3.3BのFP32モデルではBLEUスコアが最も高いが,環境フットプリントは最大 (約0.007-0.008 kg CO2) であった。 蒸留した600M FP32モデルでは, BLEUスコアは最小限に抑えられ, 推算時間を71～78%削減し, 炭素排出量を63～65%削減した。 人間の評価では、攻撃的な量子化(INT4)でさえ高いレベルの精度と流速を保ち、モデル間の差は概して小さかった。 これらの結果から, モデル圧縮戦略は, 低リソース環境ではトレードオフが顕著だが, 競合翻訳品質を維持しながら, 計算要求や環境への影響を大幅に低減できることが示された。 我々は,NLPの進歩の中心的な次元として,効率性と持続可能性とを同時に統合する評価フレームワークについて論じる。

関連論文リスト

• Low-Resource English-Tigrinya MT: Leveraging Multilingual Models, Custom Tokenizers, and Clean Evaluation Benchmarks [6.177998679139308]
  ニューラルネットワーク翻訳(NMT)の進歩にもかかわらず、Tigrinyaのような低リソース言語はいまだに保存されていない。 本稿では,多言語事前学習モデルを用いた翻訳学習手法について検討し,形態的に豊かな低リソース言語に対する翻訳品質を向上させる。
  論文  参考訳（メタデータ） (2025-09-24T15:02:57Z)
• Overestimation in LLM Evaluation: A Controlled Large-Scale Study on Data Contamination's Impact on Machine Translation [46.148465860465095]
  機械翻訳作業における1Bと8Bの言語モデルに対する汚染の影響について検討した。 実験の結果,ソースとターゲットの汚染がBLEUスコアを大幅に膨らませていることが判明した。 対照的に、ソースのみの汚染とターゲットのみの汚染は、概して小さく、一貫性の低い過剰推定を生み出す。
  論文  参考訳（メタデータ） (2025-01-30T21:51:18Z)
• How Green are Neural Language Models? Analyzing Energy Consumption in Text Summarization Fine-tuning [3.3489486000815765]
  本研究では,3つのニューラルネットワークモデル間のエネルギー消費と性能のトレードオフを分析する。 LLaMA-3-8Bは3つのモデルの中で最大の炭素フットプリントを生産している。
  論文  参考訳（メタデータ） (2025-01-26T04:37:27Z)
• CEGI: Measuring the trade-off between efficiency and carbon emissions for SLMs and VLMs [0.0]
  本稿では,Small Language Models(SLM)とVision Language Models(VLM)の性能解析を行う。 モデル性能と二酸化炭素排出量のトレードオフを定量化するために,CEGI(Carbon Efficient Gain Index)と呼ばれる新しい指標を導入する。 以上の結果から,大規模モデルによる精度の限界向上は,二酸化炭素排出量の大幅な増加を正当化するものではないことが示唆された。
  論文  参考訳（メタデータ） (2024-12-03T17:32:47Z)
• Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
  トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。 また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。 我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
  論文  参考訳（メタデータ） (2024-11-05T12:26:25Z)
• What Do Compressed Multilingual Machine Translation Models Forget? [102.50127671423752]
  平均BLEUはわずかに減少するが,表現不足言語の性能は著しく低下する。 圧縮は,高リソース言語においても,本質的な性差や意味バイアスを増幅することを示した。
  論文  参考訳（メタデータ） (2022-05-22T13:54:44Z)
• Understanding and Mitigating the Uncertainty in Zero-Shot Translation [92.25357943169601]
  ゼロショット翻訳の不確実性の観点から、オフターゲット問題を理解し、緩和することを目的としている。 そこで本研究では,モデルトレーニングのためのトレーニングデータを認知するための,軽量かつ補完的な2つのアプローチを提案する。 提案手法は,強いMNMTベースライン上でのゼロショット翻訳の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-20T10:29:46Z)
• Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation [0.0]
  本研究では, 炭素効率について検討し, トレーニングモデルによる環境影響の低減のための代替策を提案する。 本研究では,機械翻訳モデルの性能を複数の言語対で評価する。 これらのモデルの様々なコンポーネントを調べ、これらの二酸化炭素排出量を減らすために最適化できるパイプラインの側面を分析します。
  論文  参考訳（メタデータ） (2021-09-26T12:30:10Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Harnessing Multilinguality in Unsupervised Machine Translation for Rare Languages [48.28540903568198]
  マルチリンガル性は低リソース環境において教師なしシステムの実現に不可欠であることを示す。 我々は,5つの低リソース言語(グジャラート語,カザフ語,ネパール語,シンハラ語,トルコ語)について,英語方向と英語方向の単一モデルを提案する。 我々は、これらの言語の現在最先端の教師なしベースラインを全て上回り、最大14.4BLEUのゲインを得る。
  論文  参考訳（メタデータ） (2020-09-23T15:07:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。