論文の概要: Prompt engineering and its implications on the energy consumption of Large Language Models

• arxiv url: http://arxiv.org/abs/2501.05899v1
• Date: Fri, 10 Jan 2025 11:49:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:28:05.550976
• Title: Prompt engineering and its implications on the energy consumption of Large Language Models
• Title（参考訳）: プロンプト工学と大規模言語モデルのエネルギー消費
• Authors: Riccardo Rubei, Aicha Moussaid, Claudio di Sipio, Davide di Ruscio,
• Abstract要約: ソフトウェア工学における大規模言語モデル(LLM)は、計算資源、データセンター、二酸化炭素排出に関する深刻な問題を引き起こす。 本稿では,コード生成タスクにおけるLlama 3モデルの炭素排出に及ぼすPETの影響について検討する。
• 参考スコア（独自算出の注目度）: 4.791072577881446
• License:
• Abstract: Reducing the environmental impact of AI-based software systems has become critical. The intensive use of large language models (LLMs) in software engineering poses severe challenges regarding computational resources, data centers, and carbon emissions. In this paper, we investigate how prompt engineering techniques (PETs) can impact the carbon emission of the Llama 3 model for the code generation task. We experimented with the CodeXGLUE benchmark to evaluate both energy consumption and the accuracy of the generated code using an isolated testing environment. Our initial results show that the energy consumption of LLMs can be reduced by using specific tags that distinguish different prompt parts. Even though a more in-depth evaluation is needed to confirm our findings, this work suggests that prompt engineering can reduce LLMs' energy consumption during the inference phase without compromising performance, paving the way for further investigations.
• Abstract（参考訳）: AIベースのソフトウェアシステムの環境影響の低減が重要になっている。 ソフトウェア工学における大規模言語モデル(LLM)の集中的利用は、計算資源、データセンター、二酸化炭素排出に関する深刻な問題を引き起こす。 本稿では,コード生成タスクにおけるLlama 3モデルの炭素排出に及ぼすPETの影響について検討する。 我々はCodeXGLUEベンチマークを用いて、独立したテスト環境を用いて、生成したコードのエネルギー消費と精度の両方を評価する実験を行った。 最初の結果から, 異なるプロンプト部を識別する特定のタグを用いることで, LLMのエネルギー消費を低減できることが示唆された。 本研究は, 本研究の成果を確認するためには, より詳細な評価が必要であるが, 推論フェーズにおけるLCMのエネルギー消費を, 性能を損なうことなく低減し, さらなる調査の道を開くことを示唆している。

関連論文リスト

• Unveiling the Energy Vampires: A Methodology for Debugging Software Energy Consumption [5.602876058122268]
  本稿では,ソフトウェアシステムにおけるエネルギー消費ホットスポットの同定と分離のためのエネルギーデバッグ手法を提案する。 分析の結果,AlpineディストリビューションとUbuntuディストリビューションのエネルギー消費の相違が明らかとなった。 我々は,memcpyの分離とベンチマークにより,エネルギー差の主な原因として確認した。
  論文  参考訳（メタデータ） (2024-12-13T11:49:19Z)
• TinyML NLP Approach for Semantic Wireless Sentiment Classification [49.801175302937246]
  本稿では,エネルギー効率のよいプライバシ保護型小型機械学習(MLTiny)方式としてスプリットラーニング(SL)を導入する。 その結果,SLは高い精度を維持しながら処理能力とCO2排出量を低減し,FLは効率とプライバシのバランスのとれた妥協を提供することがわかった。
  論文  参考訳（メタデータ） (2024-11-09T21:26:59Z)
• Computing Within Limits: An Empirical Study of Energy Consumption in ML Training and Inference [2.553456266022126]
  機械学習(ML)は大きな進歩を遂げているが、その環境のフットプリントは依然として懸念されている。 本稿では,グリーンMLの環境影響の増大を認め,グリーンMLについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:59:34Z)
• Generative AI for Low-Carbon Artificial Intelligence of Things with Large Language Models [67.0243099823109]
  ジェネレーティブAI(GAI)は、AIoT(Artificial Intelligence of Things)の二酸化炭素排出量を減らす大きな可能性を秘めている 本稿では, 炭素排出量削減のためのGAIの可能性について検討し, 低炭素AIoTのための新しいGAI対応ソリューションを提案する。 本稿では,Large Language Model (LLM) を利用したCO_2排出最適化フレームワークを提案し,このフレームワークにより,プラグ可能なLLMとRetrieval Augmented Generation (RAG) モジュールを設計する。
  論文  参考訳（メタデータ） (2024-04-28T05:46:28Z)
• Hybrid Heterogeneous Clusters Can Lower the Energy Consumption of LLM Inference Workloads [0.2389598109913753]
  大規模言語モデル(LLM)の訓練と使用には大量のエネルギーが必要である。 本稿では, LLM を運用するデータセンターにおけるエネルギー消費削減の課題に対処する。 本稿では,コストベースのスケジューリングフレームワークを用いて,ハードウェアアクセラレータ間でタスクを動的に割り当てるハイブリッドデータセンターモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-25T11:24:08Z)
• A Carbon Tracking Model for Federated Learning: Impact of Quantization and Sparsification [5.341266334051207]
  フェデレートラーニング(FL)手法は効率的なコミュニケーション技術を採用し、エッジデバイスに機械学習タスクを分散させる。 本稿では,FLシステムのエネルギーおよび炭素フットプリントへの影響をリアルタイムにモニタリングするためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-12T07:20:03Z)
• Enhancing Energy-Awareness in Deep Learning through Fine-Grained Energy Measurement [11.37120215795946]
  本稿では,詳細なディープラーニングエネルギー消費測定のためのフレームワークであるFECoM(Fine-fine Energy Consumption Meter)を紹介する。 FECoMは、静的計測を用いて、計算負荷安定性や温度など様々な要因を考慮し、エネルギー消費をきめ細かいレベルで測定する課題に対処する。
  論文  参考訳（メタデータ） (2023-08-23T17:32:06Z)
• A Comparative Study of Machine Learning Algorithms for Anomaly Detection in Industrial Environments: Performance and Environmental Impact [62.997667081978825]
  本研究は,環境の持続可能性を考慮した高性能機械学習モデルの要求に応えることを目的としている。 Decision TreesやRandom Forestsといった従来の機械学習アルゴリズムは、堅牢な効率性とパフォーマンスを示している。 しかし, 資源消費の累積増加にもかかわらず, 最適化された構成で優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-07-01T15:18:00Z)
• Counting Carbon: A Survey of Factors Influencing the Emissions of Machine Learning [77.62876532784759]
  機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。 このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。 本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
  論文  参考訳（メタデータ） (2023-02-16T18:35:00Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)
• Towards the Systematic Reporting of the Energy and Carbon Footprints of Machine Learning [68.37641996188133]
  我々は、リアルタイムエネルギー消費と二酸化炭素排出量を追跡するための枠組みを導入する。 エネルギー効率のよい強化学習アルゴリズムのためのリーダーボードを作成します。 炭素排出量削減とエネルギー消費削減のための戦略を提案する。
  論文  参考訳（メタデータ） (2020-01-31T05:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。