論文の概要: Power Hungry Processing: Watts Driving the Cost of AI Deployment?
- arxiv url: http://arxiv.org/abs/2311.16863v2
- Date: Thu, 23 May 2024 20:15:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 23:36:34.850053
- Title: Power Hungry Processing: Watts Driving the Cost of AI Deployment?
- Title(参考訳): パワーハングリー処理:AIデプロイメントのコストを抑えるには?
- Authors: Alexandra Sasha Luccioni, Yacine Jernite, Emma Strubell,
- Abstract要約: 生成された多目的AIシステムは、機械学習(ML)モデルをテクノロジに構築するための統一的なアプローチを約束する。
この「一般性」の野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。
これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。
本稿は、多目的MLシステムの展開動向に関する議論から締めくくり、エネルギーと排出の面でコストの増大に対して、その実用性はより意図的に重み付けされるべきである、と警告する。
- 参考スコア(独自算出の注目度): 74.19749699665216
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recent years have seen a surge in the popularity of commercial AI products based on generative, multi-purpose AI systems promising a unified approach to building machine learning (ML) models into technology. However, this ambition of ``generality'' comes at a steep cost to the environment, given the amount of energy these systems require and the amount of carbon that they emit. In this work, we propose the first systematic comparison of the ongoing inference cost of various categories of ML systems, covering both task-specific (i.e. finetuned models that carry out a single task) and `general-purpose' models, (i.e. those trained for multiple tasks). We measure deployment cost as the amount of energy and carbon required to perform 1,000 inferences on representative benchmark dataset using these models. We find that multi-purpose, generative architectures are orders of magnitude more expensive than task-specific systems for a variety of tasks, even when controlling for the number of model parameters. We conclude with a discussion around the current trend of deploying multi-purpose generative ML systems, and caution that their utility should be more intentionally weighed against increased costs in terms of energy and emissions. All the data from our study can be accessed via an interactive demo to carry out further exploration and analysis.
- Abstract(参考訳): 近年、生成可能な多目的AIシステムに基づく商用AI製品の人気が高まっており、機械学習モデル(ML)を技術に組み込む統一的なアプローチを約束している。
しかしながら、「一般性」というこの野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。
本研究では,MLシステムの様々なカテゴリにおいて進行中の推論コストについて,タスク特化モデル(単一タスクを実行する微調整モデル)と汎用モデル(複数タスクのために訓練されたモデル)の両方を対象として,最初の体系的比較を行った。
これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推測を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。
モデルパラメータ数を制御する場合であっても,多目的生成アーキテクチャはタスク固有のシステムよりも桁違いに高価であることがわかった。
本稿では,多目的MLシステムの展開動向について論じるとともに,エネルギとエミッションの面でコストの増大に対して,実用性をより意図的に配慮すべきだと警告する。
われわれの研究データはすべて、インタラクティブなデモを通じてアクセスでき、さらなる探索と分析を行うことができる。
関連論文リスト
- TinyM$^2$Net-V3: Memory-Aware Compressed Multimodal Deep Neural Networks for Sustainable Edge Deployment [0.5893124686141782]
この研究はTinyM$2$Net-V3を導入し、相補的なデータの異なるモジュラリティを処理し、ディープニューラルネットワーク(DNN)モデルを設計し、モデル圧縮技術を採用している。
私たちの小さな機械学習モデルは、リソース制限されたハードウェア上にデプロイされ、ミリ秒以内の低レイテンシと非常に高い電力効率を示しました。
論文 参考訳(メタデータ) (2024-05-20T20:03:51Z) - A Survey of Serverless Machine Learning Model Inference [0.0]
ジェネレーティブAI、コンピュータビジョン、自然言語処理は、AIモデルをさまざまな製品に統合するきっかけとなった。
本調査は,大規模ディープラーニングサービスシステムにおける新たな課題と最適化の機会を要約し,分類することを目的としている。
論文 参考訳(メタデータ) (2023-11-22T18:46:05Z) - Analytical model for large-scale design of sidewalk delivery robot
systems [4.510000677649468]
本稿では,配送システムの初期コストと運用コストの両方を把握し,運用における制約や運用戦略の影響を評価するモデルを提案する。
そして、このモデルをニューヨーク市の地区に適用し、実際のシナリオにおける歩道配達ロボットシステムの展開を評価する。
論文 参考訳(メタデータ) (2023-10-26T15:26:12Z) - From Words to Watts: Benchmarking the Energy Costs of Large Language
Model Inference [19.439683873290623]
大規模言語モデル(LLM)は、新しい生成能力によって、最先端の最先端をはるかに超えているため、人気が高まっている。
これらのモデルには計算上の課題、特に推論に必要な計算とエネルギーのコストが伴う。
論文 参考訳(メタデータ) (2023-10-04T17:41:59Z) - Cheaply Evaluating Inference Efficiency Metrics for Autoregressive
Transformer APIs [66.30706841821123]
大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。
LLMは、推論時でさえ非常に計算コストが高い。
モデル間での推論効率を比較するための新しい指標を提案する。
論文 参考訳(メタデータ) (2023-05-03T21:51:42Z) - eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。
視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。
総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文 参考訳(メタデータ) (2023-03-20T19:20:34Z) - Counting Carbon: A Survey of Factors Influencing the Emissions of
Machine Learning [77.62876532784759]
機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。
このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。
本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
論文 参考訳(メタデータ) (2023-02-16T18:35:00Z) - A Generative Approach for Production-Aware Industrial Network Traffic
Modeling [70.46446906513677]
ドイツにあるTrumpf工場に配備されたレーザー切断機から発生するネットワークトラフィックデータについて検討した。
我々は、トラフィック統計を分析し、マシンの内部状態間の依存関係をキャプチャし、ネットワークトラフィックを生産状態依存プロセスとしてモデル化する。
可変オートエンコーダ(VAE)、条件付き可変オートエンコーダ(CVAE)、生成逆ネットワーク(GAN)など、様々な生成モデルの性能の比較を行った。
論文 参考訳(メタデータ) (2022-11-11T09:46:58Z) - EVE: Environmental Adaptive Neural Network Models for Low-power Energy
Harvesting System [8.16411986220709]
環境からエネルギーを回収するエネルギー収穫技術は、これらのデバイスを動かすための電池に代わる有望な選択肢だ。
本稿では,エネルギ収穫用IoTデバイスを共有重み付きで検索する機械学習フレームワークであるEVEを提案する。
実験結果から、EVEが生成するニューラルネットワークモデルは、プルーニングや共有重みのないベースラインモデルよりも平均2.5倍高速であることがわかった。
論文 参考訳(メタデータ) (2022-07-14T20:53:46Z) - Machine learning applications for electricity market agent-based models:
A systematic literature review [68.8204255655161]
エージェントベースのシミュレーションは、電気市場のダイナミクスをよりよく理解するために使用される。
エージェントベースのモデルは、機械学習と人工知能を統合する機会を提供する。
我々は、エージェントベースの電気市場モデルに適用された機械学習に焦点を当てた2016年から2021年の間に発行された55の論文をレビューする。
論文 参考訳(メタデータ) (2022-06-05T14:52:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。