Fugu-MT 論文翻訳(概要): IrEne: Interpretable Energy Prediction for Transformers

論文の概要: IrEne: Interpretable Energy Prediction for Transformers

arxiv url: http://arxiv.org/abs/2106.01199v1
Date: Wed, 2 Jun 2021 14:43:51 GMT
ステータス: 処理完了
システム内更新日: 2021-06-03 20:48:22.270590
Title: IrEne: Interpretable Energy Prediction for Transformers
Title（参考訳）: irene: トランスフォーマーの解釈可能なエネルギー予測
Authors: Qingqing Cao, Yash Kumar Lal, Harsh Trivedi, Aruna Balasubramanian, Niranjan Balasubramanian
Abstract要約: NLPモデルの既存のソフトウェアベースのエネルギー測定は、エネルギー消費とモデル実行の間の複雑な相互作用を考慮していないため正確ではない。本稿では,幅広いトランスフォーマーベースNLPモデルの推論エネルギー消費を正確に予測する,解釈可能なエネルギー予測システムIrEneを提案する。
参考スコア（独自算出の注目度）: 15.677294441315535
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Existing software-based energy measurements of NLP models are not accurate because they do not consider the complex interactions between energy consumption and model execution. We present IrEne, an interpretable and extensible energy prediction system that accurately predicts the inference energy consumption of a wide range of Transformer-based NLP models. IrEne constructs a model tree graph that breaks down the NLP model into modules that are further broken down into low-level machine learning (ML) primitives. IrEne predicts the inference energy consumption of the ML primitives as a function of generalizable features and fine-grained runtime resource usage. IrEne then aggregates these low-level predictions recursively to predict the energy of each module and finally of the entire model. Experiments across multiple Transformer models show IrEne predicts inference energy consumption of transformer models with an error of under 7% compared to the ground truth. In contrast, existing energy models see an error of over 50%. We also show how IrEne can be used to conduct energy bottleneck analysis and to easily evaluate the energy impact of different architectural choices. We release the code and data at https://github.com/StonyBrookNLP/irene.
Abstract（参考訳）: NLPモデルの既存のソフトウェアベースのエネルギー測定は、エネルギー消費とモデル実行の間の複雑な相互作用を考慮していないため正確ではない。本稿では,幅広いトランスフォーマーベースNLPモデルの推定エネルギー消費を正確に予測する,解釈可能で拡張可能なエネルギー予測システムIrEneを提案する。 IrEneはモデルツリーグラフを構築し、NLPモデルを低レベルの機械学習プリミティブ(ML)に分解したモジュールに分解する。 IrEne氏はMLプリミティブの推論エネルギー消費を、一般化可能な機能と詳細なランタイムリソース使用量の関数として予測する。 IrEneはこれらの低レベルの予測を再帰的に集約し、各モジュールのエネルギーと最終的にモデル全体のエネルギーを予測する。複数のトランスフォーマーモデルに対する実験により、IrEneは基底真実と比較して7%以下の誤差でトランスフォーマーモデルの推論エネルギー消費を予測する。対照的に、既存のエネルギーモデルでは50%以上の誤差がある。また, エネルギーボトルネック分析や, 異なる建築選択のエネルギー影響の簡易評価にイレンが利用できることを示す。コードとデータはhttps://github.com/stonybrooknlp/ireneでリリースします。

関連論文リスト

Forecasting Auxiliary Energy Consumption for Electric Heavy-Duty Vehicles [6.375656754994484]
電気自動車の運転を最適化するためには、エネルギー消費予測が不可欠である。本稿では、データのサブセット上で複数の回帰モデルをトレーニングすることで、潜在的な解決策を実証する。合成データセットと実世界のデータセットの両方の実験では、複雑な問題をより単純なデータセットに分割することで、より良い回帰性能と解釈可能性が得られることが示されている。
論文参考訳（メタデータ） (2023-11-27T16:52:25Z)
FedWOA: A Federated Learning Model that uses the Whale Optimization Algorithm for Renewable Energy Prediction [0.0]
本稿では,フェデレート学習モデルについて紹介する。フェデレーション学習モデルは,プロシューマーエネルギーデータに基づいて訓練された局所ニューラルネットワークモデルの重みから,グローバル予測モデルを集約する。その結果,FedAVGと比較して,MSEでは25%,MAEでは16%の精度でエネルギー予測モデルの精度を効果的に向上できることがわかった。
論文参考訳（メタデータ） (2023-09-19T05:44:18Z)
Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
予測可能なMDP抽象化(PMA)を提案する。元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
論文参考訳（メタデータ） (2023-02-08T07:37:51Z)
EVE: Environmental Adaptive Neural Network Models for Low-power Energy Harvesting System [8.16411986220709]
環境からエネルギーを回収するエネルギー収穫技術は、これらのデバイスを動かすための電池に代わる有望な選択肢だ。本稿では,エネルギ収穫用IoTデバイスを共有重み付きで検索する機械学習フレームワークであるEVEを提案する。実験結果から、EVEが生成するニューラルネットワークモデルは、プルーニングや共有重みのないベースラインモデルよりも平均2.5倍高速であることがわかった。
論文参考訳（メタデータ） (2022-07-14T20:53:46Z)
A Comparative Study on Energy Consumption Models for Drones [4.660172505713055]
我々は、その物理的挙動から派生したドローンの5つの最も人気のあるエネルギー消費モデルをベンチマークする。本稿では,Long Short-Term Memory (LSTM) に基づくディープラーニングアーキテクチャを用いた新しいデータ駆動型エネルギーモデルを提案する。実験の結果,LSTMに基づくアプローチは,研究中のデータセットに対して,他の数学的モデルよりも容易に優れていることがわかった。
論文参考訳（メタデータ） (2022-05-30T23:05:32Z)
Learning Generative Vision Transformer with Energy-Based Latent Space for Saliency Prediction [51.80191416661064]
本稿では,有意な物体検出に先立って,潜伏変数を持つ新しい視覚変換器を提案する。ビジョントランスネットワークとエネルギーベース先行モデルの両方は、マルコフ連鎖モンテカルロによる最大推定を通じて共同で訓練される。生成型視覚変換器により、画像から容易に画素単位の不確実性マップを得ることができ、画像から唾液濃度を予測するためのモデル信頼度を示す。
論文参考訳（メタデータ） (2021-12-27T06:04:33Z)
Prediction of liquid fuel properties using machine learning models with Gaussian processes and probabilistic conditional generative learning [56.67751936864119]
本研究の目的は、代替燃料の物理的特性を予測するためのクロージャ方程式として機能する、安価で計算可能な機械学習モデルを構築することである。これらのモデルは、MDシミュレーションのデータベースや、データ融合-忠実性アプローチによる実験的な測定を用いて訓練することができる。その結果,MLモデルでは,広範囲の圧力および温度条件の燃料特性を正確に予測できることがわかった。
論文参考訳（メタデータ） (2021-10-18T14:43:50Z)
MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文参考訳（メタデータ） (2021-10-05T02:14:38Z)
Efficient pre-training objectives for Transformers [84.64393460397471]
本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
論文参考訳（メタデータ） (2021-04-20T00:09:37Z)
Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
論文参考訳（メタデータ） (2020-11-10T19:31:29Z)
Energy Predictive Models for Convolutional Neural Networks on Mobile Platforms [0.0]
モバイルデバイスにディープラーニングモデルをデプロイする場合、エネルギー利用は重要な懸念事項である。我々はJetson TX1とSnapdragon 820上に12の代表的なConvolutional NeuralNetworks(ConvNets)を用いて、完全な接続層とプール層のための層型予測モデルを構築した。ハードウェアとソフトウェアの組み合わせによるテストConvNetの全体的なエネルギー予測において,精度は76%から85%,モデル複雑度は1。
論文参考訳（メタデータ） (2020-04-10T17:35:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。