論文の概要: Power Consumption Variation over Activation Functions
- arxiv url: http://arxiv.org/abs/2006.07237v1
- Date: Fri, 12 Jun 2020 14:40:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 01:55:11.949664
- Title: Power Consumption Variation over Activation Functions
- Title(参考訳): 活性化関数による消費電力変動
- Authors: Leon Derczynski
- Abstract要約: 予測を行う際に機械学習モデルが消費するパワーは、モデルのアーキテクチャに影響される可能性がある。
本稿では,ニューラルネットワークモデル設計におけるコアファクタである,さまざまなアクティベーション関数に対する消費電力の様々な推定方法を提案する。
- 参考スコア(独自算出の注目度): 6.396288020763144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The power that machine learning models consume when making predictions can be
affected by a model's architecture. This paper presents various estimates of
power consumption for a range of different activation functions, a core factor
in neural network model architecture design. Substantial differences in
hardware performance exist between activation functions. This difference
informs how power consumption in machine learning models can be reduced.
- Abstract(参考訳): 予測を行う際に機械学習モデルが消費するパワーは、モデルのアーキテクチャに影響される可能性がある。
本稿では,ニューラルネットワークモデル設計の核となる様々な活性化関数に対する電力消費量の様々な推定について述べる。
ハードウェアの性能にはアクティベーション機能の違いがある。
この違いは、機械学習モデルの消費電力を削減できることを示す。
関連論文リスト
- Towards Physical Plausibility in Neuroevolution Systems [0.276240219662896]
人工知能(AI)モデル、特にディープニューラルネットワーク(DNN)の利用の増加は、トレーニングや推論における消費電力を増加させている。
本研究は機械学習(ML)におけるエネルギー消費の増大問題に対処する。
電力使用量をわずかに削減しても、大幅な省エネ、ユーザ、企業、環境に恩恵をもたらす可能性がある。
論文 参考訳(メタデータ) (2024-01-31T10:54:34Z) - The Power of Training: How Different Neural Network Setups Influence the
Energy Demand [5.929203091514244]
本研究は,機械学習学習体制と学習パラダイムの変動が,対応するエネルギー消費に与える影響について検討する。
この研究の目的は、一般的なトレーニングパラメータとプロセスのエネルギー効果に対する認識を作ることである。
論文 参考訳(メタデータ) (2024-01-03T17:44:17Z) - On Feature Diversity in Energy-based Models [98.78384185493624]
エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。
EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
論文 参考訳(メタデータ) (2023-06-02T12:30:42Z) - Scaling Pre-trained Language Models to Deeper via Parameter-efficient
Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。
MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。
私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文 参考訳(メタデータ) (2023-03-27T02:34:09Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-06-09T17:12:32Z) - A Transistor Operations Model for Deep Learning Energy Consumption
Scaling [14.856688747814912]
深層学習(DL)は、幅広い産業の自動化を変革し、社会のユビキティを高めている。
DLモデルの複雑さの増大とその普及により、エネルギー消費は3~4ヶ月ごとに倍増した。
現在のFLOPとMACベースの手法は線形演算のみを考慮している。
DLモデル構成によるエネルギー消費のスケーリングにおける活性化関数とニューラルネットワーク構造の役割を明らかにするため,ボトムレベルトランジスタ操作(TOs)法を開発した。
論文 参考訳(メタデータ) (2022-05-30T12:42:33Z) - Benchmarking Resource Usage for Efficient Distributed Deep Learning [10.869092085691687]
さまざまなドメイン/タスクを表すディープネットワークの配列をトレーニングする3,400以上の実験を行います。
私たちは、トレーニング時間が利用可能な計算リソースとエネルギー制約とどのようにスケールするかを記述するパワーローモデルに適合します。
論文 参考訳(メタデータ) (2022-01-28T21:24:15Z) - MoEfication: Conditional Computation of Transformer Models for Efficient
Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。
スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。
そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文 参考訳(メタデータ) (2021-10-05T02:14:38Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-10-01T10:03:57Z) - Learning Discrete Energy-based Models via Auxiliary-variable Local
Exploration [130.89746032163106]
離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。
エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。
本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
論文 参考訳(メタデータ) (2020-11-10T19:31:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。