論文の概要: Power Hungry Processing: Watts Driving the Cost of AI Deployment?

• arxiv url: http://arxiv.org/abs/2311.16863v3
• Date: Tue, 15 Oct 2024 20:54:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:38:33.381739
• Title: Power Hungry Processing: Watts Driving the Cost of AI Deployment?
• Title（参考訳）: パワーハングリー処理:AIデプロイメントのコストを抑えるには?
• Authors: Alexandra Sasha Luccioni, Yacine Jernite, Emma Strubell,
• Abstract要約: 生成された多目的AIシステムは、機械学習(ML)モデルをテクノロジに構築するための統一的なアプローチを約束する。 この「一般性」の野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。 これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。 本稿は、多目的MLシステムの展開動向に関する議論から締めくくり、エネルギーと排出の面でコストの増大に対して、その実用性はより意図的に重み付けされるべきである、と警告する。
• 参考スコア（独自算出の注目度）: 74.19749699665216
• License:
• Abstract: Recent years have seen a surge in the popularity of commercial AI products based on generative, multi-purpose AI systems promising a unified approach to building machine learning (ML) models into technology. However, this ambition of ``generality'' comes at a steep cost to the environment, given the amount of energy these systems require and the amount of carbon that they emit. In this work, we propose the first systematic comparison of the ongoing inference cost of various categories of ML systems, covering both task-specific (i.e. finetuned models that carry out a single task) and `general-purpose' models, (i.e. those trained for multiple tasks). We measure deployment cost as the amount of energy and carbon required to perform 1,000 inferences on representative benchmark dataset using these models. We find that multi-purpose, generative architectures are orders of magnitude more expensive than task-specific systems for a variety of tasks, even when controlling for the number of model parameters. We conclude with a discussion around the current trend of deploying multi-purpose generative ML systems, and caution that their utility should be more intentionally weighed against increased costs in terms of energy and emissions. All the data from our study can be accessed via an interactive demo to carry out further exploration and analysis.
• Abstract（参考訳）: 近年、生成可能な多目的AIシステムに基づく商用AI製品の人気が高まっており、機械学習モデル(ML)を技術に組み込む統一的なアプローチを約束している。 しかしながら、「一般性」というこの野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。 本研究では,MLシステムの様々なカテゴリにおいて進行中の推論コストについて,タスク特化モデル(単一タスクを実行する微調整モデル)と汎用モデル(複数タスクのために訓練されたモデル)の両方を対象として,最初の体系的比較を行った。 これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推測を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。 モデルパラメータ数を制御する場合であっても,多目的生成アーキテクチャはタスク固有のシステムよりも桁違いに高価であることがわかった。 本稿では,多目的MLシステムの展開動向について論じるとともに,エネルギとエミッションの面でコストの増大に対して,実用性をより意図的に配慮すべきだと警告する。 われわれの研究データはすべて、インタラクティブなデモを通じてアクセスでき、さらなる探索と分析を行うことができる。

関連論文リスト

• Pricing and Competition for Generative AI [3.8677478583601776]
  われわれは、新しい生成AIソフトウェアの開発者がどのようにして技術をリリースし、価格を下げるかという課題を探求する。 まず、ユーザコスト効率に関して、特定のタスクに対する2つの異なるモデルの比較を行う。 次に、生成AIソフトウェアの価格問題を、2つの異なる企業間のゲームとしてモデル化する。
  論文  参考訳（メタデータ） (2024-11-04T22:52:45Z)
• The Energy Cost of Artificial Intelligence of Things Lifecycle [0.47998222538650537]
  そこで本研究では,AIoTシステムのライフサイクル全体にわたって,推論のエネルギーコストを計測する新しい指標を提案する。 eCALでは、モデルが良くなるほど、それが使われるほど、推論のエネルギー効率が良くなることを示す。 また、エネルギー消費と炭素強度(CI)に基づいて、同等のCO$2$排出量を計算し、AIoTシステムの炭素フットプリントを評価する。
  論文  参考訳（メタデータ） (2024-08-01T13:23:15Z)
• Toward Cross-Layer Energy Optimizations in AI Systems [4.871463967255196]
  エネルギー効率は、人工知能の採用に歯止めをかける要因になる可能性が高い。 人工知能(AI)や機械学習(ML)ツールや技術の普及によって、そのエネルギー効率が採用への歯止め要因になりそうである。 これは、生成AI(GenAI)モデルが巨大なエネルギー豚であるからである。 推論はさらにエネルギーを消費する。
  論文  参考訳（メタデータ） (2024-04-10T01:35:17Z)
• From Words to Watts: Benchmarking the Energy Costs of Large Language Model Inference [19.439683873290623]
  大規模言語モデル(LLM)は、新しい生成能力によって、最先端の最先端をはるかに超えているため、人気が高まっている。 これらのモデルには計算上の課題、特に推論に必要な計算とエネルギーのコストが伴う。
  論文  参考訳（メタデータ） (2023-10-04T17:41:59Z)
• Cheaply Evaluating Inference Efficiency Metrics for Autoregressive Transformer APIs [66.30706841821123]
  大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。 LLMは、推論時でさえ非常に計算コストが高い。 モデル間での推論効率を比較するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-05-03T21:51:42Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Counting Carbon: A Survey of Factors Influencing the Emissions of Machine Learning [77.62876532784759]
  機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。 このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。 本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
  論文  参考訳（メタデータ） (2023-02-16T18:35:00Z)
• A Generative Approach for Production-Aware Industrial Network Traffic Modeling [70.46446906513677]
  ドイツにあるTrumpf工場に配備されたレーザー切断機から発生するネットワークトラフィックデータについて検討した。 我々は、トラフィック統計を分析し、マシンの内部状態間の依存関係をキャプチャし、ネットワークトラフィックを生産状態依存プロセスとしてモデル化する。 可変オートエンコーダ(VAE)、条件付き可変オートエンコーダ(CVAE)、生成逆ネットワーク(GAN)など、様々な生成モデルの性能の比較を行った。
  論文  参考訳（メタデータ） (2022-11-11T09:46:58Z)
• EVE: Environmental Adaptive Neural Network Models for Low-power Energy Harvesting System [8.16411986220709]
  環境からエネルギーを回収するエネルギー収穫技術は、これらのデバイスを動かすための電池に代わる有望な選択肢だ。 本稿では,エネルギ収穫用IoTデバイスを共有重み付きで検索する機械学習フレームワークであるEVEを提案する。 実験結果から、EVEが生成するニューラルネットワークモデルは、プルーニングや共有重みのないベースラインモデルよりも平均2.5倍高速であることがわかった。
  論文  参考訳（メタデータ） (2022-07-14T20:53:46Z)
• Machine learning applications for electricity market agent-based models: A systematic literature review [68.8204255655161]
  エージェントベースのシミュレーションは、電気市場のダイナミクスをよりよく理解するために使用される。 エージェントベースのモデルは、機械学習と人工知能を統合する機会を提供する。 我々は、エージェントベースの電気市場モデルに適用された機械学習に焦点を当てた2016年から2021年の間に発行された55の論文をレビューする。
  論文  参考訳（メタデータ） (2022-06-05T14:52:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。