Fugu-MT 論文翻訳(概要): Power Consumption Variation over Activation Functions

論文の概要: Power Consumption Variation over Activation Functions

arxiv url: http://arxiv.org/abs/2006.07237v1
Date: Fri, 12 Jun 2020 14:40:46 GMT
ステータス: 処理完了
システム内更新日: 2022-11-22 01:55:11.949664
Title: Power Consumption Variation over Activation Functions
Title（参考訳）: 活性化関数による消費電力変動
Authors: Leon Derczynski
Abstract要約: 予測を行う際に機械学習モデルが消費するパワーは、モデルのアーキテクチャに影響される可能性がある。本稿では,ニューラルネットワークモデル設計におけるコアファクタである,さまざまなアクティベーション関数に対する消費電力の様々な推定方法を提案する。
参考スコア（独自算出の注目度）: 6.396288020763144
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The power that machine learning models consume when making predictions can be affected by a model's architecture. This paper presents various estimates of power consumption for a range of different activation functions, a core factor in neural network model architecture design. Substantial differences in hardware performance exist between activation functions. This difference informs how power consumption in machine learning models can be reduced.
Abstract（参考訳）: 予測を行う際に機械学習モデルが消費するパワーは、モデルのアーキテクチャに影響される可能性がある。本稿では,ニューラルネットワークモデル設計の核となる様々な活性化関数に対する電力消費量の様々な推定について述べる。ハードウェアの性能にはアクティベーション機能の違いがある。この違いは、機械学習モデルの消費電力を削減できることを示す。

関連論文リスト

Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文参考訳（メタデータ） (2024-08-24T18:28:19Z)
On zero-shot learning in neural state estimation of power distribution systems [39.58317527488534]
本稿では,配電系統におけるニューラル状態推定の課題に対処する。我々は、電力網の変化に対応するモデルが存在しないことにある、現在の技術の現状における研究のギャップを識別する。
論文参考訳（メタデータ） (2024-08-11T14:33:23Z)
Towards Physical Plausibility in Neuroevolution Systems [0.276240219662896]
人工知能(AI)モデル、特にディープニューラルネットワーク(DNN)の利用の増加は、トレーニングや推論における消費電力を増加させている。本研究は機械学習(ML)におけるエネルギー消費の増大問題に対処する。電力使用量をわずかに削減しても、大幅な省エネ、ユーザ、企業、環境に恩恵をもたらす可能性がある。
論文参考訳（メタデータ） (2024-01-31T10:54:34Z)
On Feature Diversity in Energy-based Models [98.78384185493624]
エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。 EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
論文参考訳（メタデータ） (2023-06-02T12:30:42Z)
Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文参考訳（メタデータ） (2023-03-27T02:34:09Z)
On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文参考訳（メタデータ） (2022-06-09T17:12:32Z)
A Transistor Operations Model for Deep Learning Energy Consumption Scaling [14.856688747814912]
深層学習(DL)は、幅広い産業の自動化を変革し、社会のユビキティを高めている。 DLモデルの複雑さの増大とその普及により、エネルギー消費は3～4ヶ月ごとに倍増した。現在のFLOPとMACベースの手法は線形演算のみを考慮している。 DLモデル構成によるエネルギー消費のスケーリングにおける活性化関数とニューラルネットワーク構造の役割を明らかにするため,ボトムレベルトランジスタ操作(TOs)法を開発した。
論文参考訳（メタデータ） (2022-05-30T12:42:33Z)
Benchmarking Resource Usage for Efficient Distributed Deep Learning [10.869092085691687]
さまざまなドメイン/タスクを表すディープネットワークの配列をトレーニングする3,400以上の実験を行います。私たちは、トレーニング時間が利用可能な計算リソースとエネルギー制約とどのようにスケールするかを記述するパワーローモデルに適合します。
論文参考訳（メタデータ） (2022-01-28T21:24:15Z)
MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文参考訳（メタデータ） (2021-10-05T02:14:38Z)
Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
論文参考訳（メタデータ） (2020-11-10T19:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。