論文の概要: Emissions and Performance Trade-off Between Small and Large Language Models

• arxiv url: http://arxiv.org/abs/2601.08844v1
• Date: Sun, 21 Dec 2025 07:00:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.668087
• Title: Emissions and Performance Trade-off Between Small and Large Language Models
• Title（参考訳）: 小規模言語モデルと大規模言語モデル間のエミッションと性能トレードオフ
• Authors: Anandita Garg, Uma Gaba, Deepan Muthirayan, Anish Roy Chowdhury,
• Abstract要約: 本研究では,事前定義されたタスクの持続可能な代替手段として,微調整小言語モデル(SLM)を用いる可能性について検討する。 その結果,6つのタスクのうち4つのタスクにおいて,SLMは推定時の二酸化炭素排出量の大幅な削減に匹敵する性能を維持した。
• 参考スコア（独自算出の注目度）: 1.0863226323853896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The advent of Large Language Models (LLMs) has raised concerns about their enormous carbon footprint, starting with energy-intensive training and continuing through repeated inference. This study investigates the potential of using fine-tuned Small Language Models (SLMs) as a sustainable alternative for predefined tasks. Here, we present a comparative analysis of the performance-emissions trade-off between LLMs and fine-tuned SLMs across selected tasks under Natural Language Processing, Reasoning and Programming. Our results show that in four out of the six selected tasks, SLMs maintained comparable performances for a significant reduction in carbon emissions during inference. Our findings demonstrate the viability of smaller models in mitigating the environmental impact of resource-heavy LLMs, thus advancing towards sustainable, green AI.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、エネルギー集約的なトレーニングから繰り返し推論まで、その巨大な炭素フットプリントに対する懸念を引き起こしている。 本研究では,事前定義されたタスクの持続可能な代替手段として,微調整小言語モデル(SLM)を用いる可能性について検討する。 本稿では, 自然言語処理, 推論, プログラミングにおいて, LLM と微調整された SLM のトレードオフを比較検討する。 その結果,6つのタスクのうち4つのタスクにおいて,SLMは推定時の二酸化炭素排出量の大幅な削減に匹敵する性能を維持した。 本研究は, 資源量の多いLLMの環境影響を緩和し, 持続可能でグリーンなAIに向けて進む上で, より小さなモデルの有効性を示すものである。

関連論文リスト

• MELABenchv1: Benchmarking Large Language Models against Smaller Fine-Tuned Models for Low-Resource Maltese NLP [0.0]
  低リソース言語であるMalteseにおける55の公開言語モデル(LLM)の性能を評価する。 我々の実験は、多くのモデルが、特に生成タスクにおいて、性能が良くないことを強調している。 本研究は, 事前訓練および指導訓練におけるマルタへの事前曝露が最も重要な要因であると結論付けている。
  論文  参考訳（メタデータ） (2025-06-04T18:59:52Z)
• Catastrophic Forgetting in LLMs: A Comparative Analysis Across Language Tasks [0.0]
  大規模言語モデル(LLM)は、かなり高度な自然言語処理(NLP)を持つ 本研究では,主要なNLUタスクに対する各種オープンソースLLMの連続的な微調整について検討する。 以上の結果から,Phi-3.5-miniのようなモデルでは,強い学習能力を維持しつつ,最小限の忘れを生じさせることが示唆された。
  論文  参考訳（メタデータ） (2025-04-01T23:06:55Z)
• Unveiling Environmental Impacts of Large Language Model Serving: A Functional Unit View [2.5832043241251337]
  FUELは、大規模言語モデル(LLM)の環境影響を評価するためのフレームワークである モデルサイズ、量子化戦略、ハードウェア選択を最適化することで、二酸化炭素排出量を減らすための重要な洞察とトレードオフを明らかにします。
  論文  参考訳（メタデータ） (2025-02-16T20:20:18Z)
• CEGI: Measuring the trade-off between efficiency and carbon emissions for SLMs and VLMs [0.0]
  本稿では,Small Language Models(SLM)とVision Language Models(VLM)の性能解析を行う。 モデル性能と二酸化炭素排出量のトレードオフを定量化するために,CEGI(Carbon Efficient Gain Index)と呼ばれる新しい指標を導入する。 以上の結果から,大規模モデルによる精度の限界向上は,二酸化炭素排出量の大幅な増加を正当化するものではないことが示唆された。
  論文  参考訳（メタデータ） (2024-12-03T17:32:47Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Rethinking the Roles of Large Language Models in Chinese Grammatical Error Correction [62.409807640887834]
  中国語の文法的誤り訂正(CGEC)は、入力文中のすべての文法的誤りを修正することを目的としている。 CGECの修正器としてのLLMの性能は、課題の焦点が難しいため不満足なままである。 CGECタスクにおけるLCMの役割を再考し、CGECでよりよく活用し、探索できるようにした。
  論文  参考訳（メタデータ） (2024-02-18T01:40:34Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。