論文の概要: Power Hungry Processing: Watts Driving the Cost of AI Deployment?
- arxiv url: http://arxiv.org/abs/2311.16863v1
- Date: Tue, 28 Nov 2023 15:09:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 17:50:34.188211
- Title: Power Hungry Processing: Watts Driving the Cost of AI Deployment?
- Title（参考訳）: 電力の空腹処理: 電力がaiデプロイメントのコストを駆動する?
- Authors: Alexandra Sasha Luccioni, Yacine Jernite, Emma Strubell
- Abstract要約: 多目的生成AIシステムは、機械学習(ML)モデルを技術に組み込む統一的なアプローチを約束する。
この「一般性」という野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。
これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。
本稿は、多目的MLシステムの展開動向に関する議論から締めくくり、エネルギーと排出の面でコストの増大に対して、その実用性はより意図的に重み付けされるべきである、と警告する。
- 参考スコア（独自算出の注目度）: 81.05543515700154
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recent years have seen a surge in the popularity of commercial AI products
based on generative, multi-purpose AI systems promising a unified approach to
building machine learning (ML) models into technology. However, this ambition
of "generality" comes at a steep cost to the environment, given the amount of
energy these systems require and the amount of carbon that they emit. In this
work, we propose the first systematic comparison of the ongoing inference cost
of various categories of ML systems, covering both task-specific (i.e.
finetuned models that carry out a single task) and `general-purpose' models,
(i.e. those trained for multiple tasks). We measure deployment cost as the
amount of energy and carbon required to perform 1,000 inferences on
representative benchmark dataset using these models. We find that
multi-purpose, generative architectures are orders of magnitude more expensive
than task-specific systems for a variety of tasks, even when controlling for
the number of model parameters. We conclude with a discussion around the
current trend of deploying multi-purpose generative ML systems, and caution
that their utility should be more intentionally weighed against increased costs
in terms of energy and emissions. All the data from our study can be accessed
via an interactive demo to carry out further exploration and analysis.
- Abstract（参考訳）: 近年、生成可能な多目的AIシステムに基づく商用AI製品の人気が高まっており、機械学習モデル(ML)を技術に組み込む統一的なアプローチを約束している。
しかし、この「一般性」という野望は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストをもたらす。
本稿では,mlシステムの様々なカテゴリにおける継続する推論コストを体系的に比較し,タスク固有モデル(単一タスクを実行する微調整モデル)と汎用モデル(複数のタスクに訓練されたモデル)の両方をカバーすることを提案する。
これらのモデルを用いて、代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量としてデプロイメントコストを測定する。
多目的のジェネレーティブアーキテクチャは、モデルパラメータの数を制御する場合であっても、さまざまなタスクのためのタスク固有のシステムよりも1桁も高価であることがわかった。
本稿では,多目的MLシステムの展開動向について論じるとともに,エネルギとエミッションの面でコストの増大に対して,実用性をより意図的に配慮すべきだと警告する。
われわれの研究データはすべて、インタラクティブなデモを通じてアクセスでき、さらなる探索と分析を行うことができる。
関連論文リスト
- Pricing and Competition for Generative AI [3.8677478583601776]
われわれは、新しい生成AIソフトウェアの開発者がどのようにして技術をリリースし、価格を下げるかという課題を探求する。
まず、ユーザコスト効率に関して、特定のタスクに対する2つの異なるモデルの比較を行う。
次に、生成AIソフトウェアの価格問題を、2つの異なる企業間のゲームとしてモデル化する。
論文 参考訳（メタデータ） (2024-11-04T22:52:45Z) - The Energy Cost of Artificial Intelligence of Things Lifecycle [0.47998222538650537]
そこで本研究では,AIoTシステムのライフサイクル全体にわたって,推論のエネルギーコストを計測する新しい指標を提案する。
eCALでは、モデルが良くなるほど、それが使われるほど、推論のエネルギー効率が良くなることを示す。
また、エネルギー消費と炭素強度(CI)に基づいて、同等のCO$2$排出量を計算し、AIoTシステムの炭素フットプリントを評価する。
論文 参考訳（メタデータ） (2024-08-01T13:23:15Z) - Toward Cross-Layer Energy Optimizations in AI Systems [4.871463967255196]
エネルギー効率は、人工知能の採用に歯止めをかける要因になる可能性が高い。
人工知能(AI)や機械学習(ML)ツールや技術の普及によって、そのエネルギー効率が採用への歯止め要因になりそうである。
これは、生成AI(GenAI)モデルが巨大なエネルギー豚であるからである。
推論はさらにエネルギーを消費する。
論文 参考訳（メタデータ） (2024-04-10T01:35:17Z) - From Words to Watts: Benchmarking the Energy Costs of Large Language
Model Inference [19.439683873290623]
大規模言語モデル(LLM)は、新しい生成能力によって、最先端の最先端をはるかに超えているため、人気が高まっている。
これらのモデルには計算上の課題、特に推論に必要な計算とエネルギーのコストが伴う。
論文 参考訳（メタデータ） (2023-10-04T17:41:59Z) - Cheaply Evaluating Inference Efficiency Metrics for Autoregressive
Transformer APIs [66.30706841821123]
大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。
LLMは、推論時でさえ非常に計算コストが高い。
モデル間での推論効率を比較するための新しい指標を提案する。
論文 参考訳（メタデータ） (2023-05-03T21:51:42Z) - eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。
視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。
総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文 参考訳（メタデータ） (2023-03-20T19:20:34Z) - Counting Carbon: A Survey of Factors Influencing the Emissions of
Machine Learning [77.62876532784759]
機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。
このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。
本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
論文 参考訳（メタデータ） (2023-02-16T18:35:00Z) - A Generative Approach for Production-Aware Industrial Network Traffic
Modeling [70.46446906513677]
ドイツにあるTrumpf工場に配備されたレーザー切断機から発生するネットワークトラフィックデータについて検討した。
我々は、トラフィック統計を分析し、マシンの内部状態間の依存関係をキャプチャし、ネットワークトラフィックを生産状態依存プロセスとしてモデル化する。
可変オートエンコーダ(VAE)、条件付き可変オートエンコーダ(CVAE)、生成逆ネットワーク(GAN)など、様々な生成モデルの性能の比較を行った。
論文 参考訳（メタデータ） (2022-11-11T09:46:58Z) - EVE: Environmental Adaptive Neural Network Models for Low-power Energy
Harvesting System [8.16411986220709]
環境からエネルギーを回収するエネルギー収穫技術は、これらのデバイスを動かすための電池に代わる有望な選択肢だ。
本稿では,エネルギ収穫用IoTデバイスを共有重み付きで検索する機械学習フレームワークであるEVEを提案する。
実験結果から、EVEが生成するニューラルネットワークモデルは、プルーニングや共有重みのないベースラインモデルよりも平均2.5倍高速であることがわかった。
論文 参考訳（メタデータ） (2022-07-14T20:53:46Z) - Machine learning applications for electricity market agent-based models:
A systematic literature review [68.8204255655161]
エージェントベースのシミュレーションは、電気市場のダイナミクスをよりよく理解するために使用される。
エージェントベースのモデルは、機械学習と人工知能を統合する機会を提供する。
我々は、エージェントベースの電気市場モデルに適用された機械学習に焦点を当てた2016年から2021年の間に発行された55の論文をレビューする。
論文 参考訳（メタデータ） (2022-06-05T14:52:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。