論文の概要: Trends in Energy Estimates for Computing in AI/Machine Learning
Accelerators, Supercomputers, and Compute-Intensive Applications
- arxiv url: http://arxiv.org/abs/2210.17331v1
- Date: Wed, 12 Oct 2022 16:14:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 12:07:57.512675
- Title: Trends in Energy Estimates for Computing in AI/Machine Learning
Accelerators, Supercomputers, and Compute-Intensive Applications
- Title（参考訳）: AI/機械学習加速器, スーパーコンピュータ, 計算集約アプリケーションにおけるエネルギー推定の動向
- Authors: Sadasivan Shankar, Albert Reuther
- Abstract要約: 幾何スケーリング法則により駆動される異なるシステムの計算エネルギー要求について検討する。
幾何スケーリングによるエネルギー効率が低下していることを示す。
応用レベルでは、汎用AI-ML手法は計算エネルギー集約化が可能である。
- 参考スコア（独自算出の注目度）: 3.2634122554914
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We examine the computational energy requirements of different systems driven
by the geometrical scaling law, and increasing use of Artificial Intelligence
or Machine Learning (AI-ML) over the last decade. With more scientific and
technology applications based on data-driven discovery, machine learning
methods, especially deep neural networks, have become widely used. In order to
enable such applications, both hardware accelerators and advanced AI-ML methods
have led to the introduction of new architectures, system designs, algorithms,
and software. Our analysis of energy trends indicates three important
observations: 1) Energy efficiency due to geometrical scaling is slowing down;
2) The energy efficiency at the bit-level does not translate into efficiency at
the instruction-level, or at the system-level for a variety of systems,
especially for large-scale AI-ML accelerators or supercomputers; 3) At the
application level, general-purpose AI-ML methods can be computationally energy
intensive, off-setting the gains in energy from geometrical scaling and special
purpose accelerators. Further, our analysis provides specific pointers for
integrating energy efficiency with performance analysis for enabling
high-performance and sustainable computing in the future.
- Abstract（参考訳）: 幾何学的スケーリング法則によって駆動される様々なシステムの計算エネルギー要件について検討し、過去10年間で人工知能や機械学習(AI-ML)の利用が増加している。
データ駆動ディスカバリに基づくより科学的および技術的な応用により、マシンラーニング、特にディープニューラルネットワークが広く利用されている。
このようなアプリケーションを実現するために、ハードウェアアクセラレータと高度なAI-MLメソッドの両方が新しいアーキテクチャ、システム設計、アルゴリズム、ソフトウェアを導入している。
エネルギートレンドの分析は 3つの重要な観察を示します
1)幾何学的スケーリングによるエネルギー効率の低下
2) ビットレベルのエネルギー効率は,命令レベル,あるいは,様々なシステム,特に大規模ai-mlアクセラレータやスーパーコンピュータのシステムレベルでの効率には変換されない。
3)応用レベルでは,汎用AI-ML手法は,幾何学的スケーリングや特別な加速器からエネルギーのゲインをオフセットして計算的にエネルギー集約化することができる。
さらに,省エネ効率と性能分析を融合し,将来的な高性能・持続可能コンピューティングを実現するための具体的ポインタを提供する。
関連論文リスト
- Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳（メタデータ） (2024-01-11T15:02:15Z) - Energy Estimates Across Layers of Computing: From Devices to Large-Scale
Applications in Machine Learning for Natural Language Processing, Scientific
Computing, and Cryptocurrency Mining [0.0]
デバイスからアルゴリズムに至るまでの計算層におけるエネルギー使用量の推定と分析を行った。
人工知能(AI)/Machine Learning for Natural Language Processing、Scientific Simulations、Cryptocurrency Miningの3つの大規模コンピューティング応用が推定されている。
論文 参考訳（メタデータ） (2023-10-11T14:14:05Z) - A Comprehensive Performance Study of Large Language Models on Novel AI
Accelerators [2.88634411143577]
大規模言語モデル(LLM)は、いくつかの課題に対処するための有望なアプローチと考えられている。
専門のAIアクセラレータハードウェアシステムは、最近、AIアプリケーションの高速化に利用できるようになった。
論文 参考訳（メタデータ） (2023-10-06T21:55:57Z) - Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。
ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。
新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
論文 参考訳（メタデータ） (2023-08-27T03:55:28Z) - Towards Implementing Energy-aware Data-driven Intelligence for Smart
Health Applications on Mobile Platforms [4.648824029505978]
デバイス上でのディープラーニングフレームワークは、モバイルプラットフォームのコンピューティングリソースをシームレスに活用するのに熟練している。
しかし、モバイル機器のエネルギー資源は通常限られている。
我々はエネルギーを意識した適応モデル理解と実現を通じて新しい枠組みを導入する。
論文 参考訳（メタデータ） (2023-02-01T15:34:24Z) - Deep learning applied to computational mechanics: A comprehensive
review, state of the art, and the classics [77.34726150561087]
人工知能,特に深層学習(DL)の最近の進歩を概観する。
ハイブリッドおよび純粋機械学習(ML)の手法について論じる。
AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
論文 参考訳（メタデータ） (2022-12-18T02:03:00Z) - Precise Energy Consumption Measurements of Heterogeneous Artificial
Intelligence Workloads [0.534434568021034]
本稿では,異なるタイプの計算ノード上でのディープラーニングモデルの典型的な2つの応用のエネルギー消費の測定を行う。
我々のアプローチの1つの利点は、スーパーコンピュータの全ユーザーがエネルギー消費に関する情報を利用できることである。
論文 参考訳（メタデータ） (2022-12-03T21:40:55Z) - Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with
Heterogeneous Learning Tasks [53.1636151439562]
モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。
再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。
具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
論文 参考訳（メタデータ） (2020-12-25T07:08:50Z) - A Survey on Large-scale Machine Learning [67.6997613600942]
機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。
ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。
大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
論文 参考訳（メタデータ） (2020-08-10T06:07:52Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z) - Resource-Efficient Neural Networks for Embedded Systems [23.532396005466627]
本稿では,機械学習技術の現状について概説する。
私たちは、過去10年で主要な機械学習モデルであるディープニューラルネットワーク(DNN)に基づく、リソース効率の高い推論に焦点を当てています。
我々は、圧縮技術を用いて、よく知られたベンチマークデータセットの実験で議論を裏付ける。
論文 参考訳（メタデータ） (2020-01-07T14:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。