論文の概要: The Hidden Costs of Translation Accuracy: Distillation, Quantization, and Environmental Impact

• arxiv url: http://arxiv.org/abs/2509.23990v2
• Date: Thu, 02 Oct 2025 13:15:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 14:32:17.141156
• Title: The Hidden Costs of Translation Accuracy: Distillation, Quantization, and Environmental Impact
• Title（参考訳）: 翻訳精度の隠れたコスト:蒸留・定量化・環境影響
• Authors: Dhaathri Vijay, Anandaswarup Vadapalli,
• Abstract要約: 大規模言語モデル(LLM)の急速な拡張により、計算コストや環境コストに対する懸念が高まっている。 本研究では, フルスケール, 蒸留, 定量化モデルを比較し, 翻訳品質と効率のトレードオフについて検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid expansion of large language models (LLMs) has heightened concerns about their computational and environmental costs. This study investigates the trade-offs between translation quality and efficiency by comparing full-scale, distilled, and quantized models using machine translation as a case study. We evaluated performance on the Flores+ benchmark and through human judgments of conversational translations in French, Hindi, and Kannada. Our analysis revealed that the full 3.3B FP32 model, while achieving the highest BLEU scores, incurred the largest environmental footprint (~ 0.007-0.008 kg CO2 per run). The distilled 600M FP32 model reduced inference time by 71-78% and carbon emissions by 63-65% compared with the full model, with only minimal reductions in BLEU scores. Human evaluations further showed that even aggressive quantization (INT4) preserved high levels of accuracy and fluency, with differences between models generally minor. These findings demonstrate that model compression strategies can substantially reduce computational demands and environmental impact while maintaining competitive translation quality, though trade-offs are more pronounced in low-resource settings. We argue for evaluation frameworks that integrate efficiency and sustainability alongside accuracy as central dimensions of progress in NLP.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な拡張により、計算コストや環境コストに対する懸念が高まっている。 本研究では,機械翻訳を用いた実スケール,蒸留,定量化モデルを比較し,翻訳品質と効率のトレードオフを事例として検討した。 フローレス+ベンチマークと,フレンチ,ヒンディー語,カンナダ語における会話翻訳の人為的判断による評価を行った。 解析の結果,フル3.3BのFP32モデルではBLEUスコアが最も高いが,環境フットプリントは最大 (約0.007-0.008 kg CO2) であった。 蒸留した600M FP32モデルでは, BLEUスコアは最小限に抑えられ, 推算時間を71～78%削減し, 炭素排出量を63～65%削減した。 人間の評価では、攻撃的な量子化(INT4)でさえ高いレベルの精度と流速を保ち、モデル間の差は概して小さかった。 これらの結果から, モデル圧縮戦略は, 低リソース環境ではトレードオフが顕著だが, 競合翻訳品質を維持しながら, 計算要求や環境への影響を大幅に低減できることが示された。 我々は,NLPの進歩の中心的な次元として,効率性と持続可能性とを同時に統合する評価フレームワークについて論じる。

関連論文リスト

• Mitigating Structural Noise in Low-Resource S2TT: An Optimized Cascaded Nepali-English Pipeline with Punctuation Restoration [0.0]
  低リソース言語のための音声からテキストへの変換システムでは、構造的ノイズに悩まされることがある。 本研究では,ネパール語から英語への翻訳におけるノイズの影響を調査し,品質劣化を緩和する最適化パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-02-25T07:20:23Z)
• Low-Resource English-Tigrinya MT: Leveraging Multilingual Models, Custom Tokenizers, and Clean Evaluation Benchmarks [6.177998679139308]
  ニューラルネットワーク翻訳(NMT)の進歩にもかかわらず、Tigrinyaのような低リソース言語はいまだに保存されていない。 本稿では,多言語事前学習モデルを用いた翻訳学習手法について検討し,形態的に豊かな低リソース言語に対する翻訳品質を向上させる。
  論文  参考訳（メタデータ） (2025-09-24T15:02:57Z)
• Evaluating Prompt-Based and Fine-Tuned Approaches to Czech Anaphora Resolution [0.0]
  アナフォラ分解は、チェコ語のような形態学的に豊かな言語において、自然言語理解において重要な役割を担っている。 本稿では,チェコ語テキストにおけるアナフォラ分解能に対する2つの近代的アプローチの比較評価を行った。 本研究では,大規模言語モデル (LLM) と微調整型コンパクト生成モデルとの比較を行った。
  論文  参考訳（メタデータ） (2025-06-22T16:32:57Z)
• QUADS: QUAntized Distillation Framework for Efficient Speech Language Understanding [0.0]
  既存の方法は蒸留と量子化を別々に適用し、最適以下の圧縮に繋がる。 我々は,事前学習モデルを用いたマルチステージトレーニングにより,双方を最適化する統合フレームワーク QUADS を提案する。 QUIDSはSLURPで71.13%、FSCで99.20%の精度を達成し、最先端モデルと比較して5.56%の小さな劣化しか達成していない。
  論文  参考訳（メタデータ） (2025-05-19T16:09:51Z)
• Every FLOP Counts: Scaling a 300B Mixture-of-Experts LING LLM without Premium GPUs [96.68469559192846]
  2つの異なる大きさのMoE大言語モデル(LLM)を提示する。 Ling-Liteは168億のパラメータと275億のアクティベートパラメータを持ち、Ling-Plusは2900億のパラメータと288億のアクティベートパラメータを持っている。 本稿では,(1)モデルアーキテクチャとトレーニングプロセスの最適化,(2)トレーニング異常処理の洗練,(3)モデル評価効率の向上のための革新的な手法を提案する。
  論文  参考訳（メタデータ） (2025-03-07T04:43:39Z)
• Overestimation in LLM Evaluation: A Controlled Large-Scale Study on Data Contamination's Impact on Machine Translation [46.148465860465095]
  機械翻訳作業における1Bと8Bの言語モデルに対する汚染の影響について検討した。 実験の結果,ソースとターゲットの汚染がBLEUスコアを大幅に膨らませていることが判明した。 対照的に、ソースのみの汚染とターゲットのみの汚染は、概して小さく、一貫性の低い過剰推定を生み出す。
  論文  参考訳（メタデータ） (2025-01-30T21:51:18Z)
• How Green are Neural Language Models? Analyzing Energy Consumption in Text Summarization Fine-tuning [3.3489486000815765]
  本研究では,3つのニューラルネットワークモデル間のエネルギー消費と性能のトレードオフを分析する。 LLaMA-3-8Bは3つのモデルの中で最大の炭素フットプリントを生産している。
  論文  参考訳（メタデータ） (2025-01-26T04:37:27Z)
• CEGI: Measuring the trade-off between efficiency and carbon emissions for SLMs and VLMs [0.0]
  本稿では,Small Language Models(SLM)とVision Language Models(VLM)の性能解析を行う。 モデル性能と二酸化炭素排出量のトレードオフを定量化するために,CEGI(Carbon Efficient Gain Index)と呼ばれる新しい指標を導入する。 以上の結果から,大規模モデルによる精度の限界向上は,二酸化炭素排出量の大幅な増加を正当化するものではないことが示唆された。
  論文  参考訳（メタデータ） (2024-12-03T17:32:47Z)
• Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
  トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。 また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。 我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
  論文  参考訳（メタデータ） (2024-11-05T12:26:25Z)
• Improving Visual Grounding by Encouraging Consistent Gradient-based Explanations [58.442103936918805]
  注意マスク整合性は,従来の方法よりも優れた視覚的グラウンドリング結果が得られることを示す。 AMCは効率的で実装が容易であり、どんな視覚言語モデルでも採用できるため一般的である。
  論文  参考訳（メタデータ） (2022-06-30T17:55:12Z)
• What Do Compressed Multilingual Machine Translation Models Forget? [102.50127671423752]
  平均BLEUはわずかに減少するが,表現不足言語の性能は著しく低下する。 圧縮は,高リソース言語においても,本質的な性差や意味バイアスを増幅することを示した。
  論文  参考訳（メタデータ） (2022-05-22T13:54:44Z)
• Understanding and Mitigating the Uncertainty in Zero-Shot Translation [92.25357943169601]
  ゼロショット翻訳の不確実性の観点から、オフターゲット問題を理解し、緩和することを目的としている。 そこで本研究では,モデルトレーニングのためのトレーニングデータを認知するための,軽量かつ補完的な2つのアプローチを提案する。 提案手法は,強いMNMTベースライン上でのゼロショット翻訳の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-20T10:29:46Z)
• Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation [0.0]
  本研究では, 炭素効率について検討し, トレーニングモデルによる環境影響の低減のための代替策を提案する。 本研究では,機械翻訳モデルの性能を複数の言語対で評価する。 これらのモデルの様々なコンポーネントを調べ、これらの二酸化炭素排出量を減らすために最適化できるパイプラインの側面を分析します。
  論文  参考訳（メタデータ） (2021-09-26T12:30:10Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Harnessing Multilinguality in Unsupervised Machine Translation for Rare Languages [48.28540903568198]
  マルチリンガル性は低リソース環境において教師なしシステムの実現に不可欠であることを示す。 我々は,5つの低リソース言語(グジャラート語,カザフ語,ネパール語,シンハラ語,トルコ語)について,英語方向と英語方向の単一モデルを提案する。 我々は、これらの言語の現在最先端の教師なしベースラインを全て上回り、最大14.4BLEUのゲインを得る。
  論文  参考訳（メタデータ） (2020-09-23T15:07:33Z)
• Towards a Competitive End-to-End Speech Recognition for CHiME-6 Dinner Party Transcription [73.66530509749305]
  本稿では,難しい場合であっても,ハイブリッドベースラインに近い性能を示すエンドツーエンドアプローチについて論じる。 CTC-Attention と RNN-Transducer のアプローチと RNN と Transformer のアーキテクチャを比較し,解析する。 RNN-Transducerをベースとしたベストエンド・ツー・エンドモデルでは、ビームサーチの改善とともに、LF-MMI TDNN-F CHiME-6 Challengeのベースラインよりも品質が3.8%向上した。
  論文  参考訳（メタデータ） (2020-04-22T19:08:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。