論文の概要: EC-NAS: Energy Consumption Aware Tabular Benchmarks for Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2210.06015v4
- Date: Fri, 22 Mar 2024 10:59:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 00:08:10.378716
- Title: EC-NAS: Energy Consumption Aware Tabular Benchmarks for Neural Architecture Search
- Title（参考訳）: EC-NAS:ニューラルネットワーク検索のためのタブラルベンチマークを意識したエネルギー消費
- Authors: Pedram Bakhtiarifard, Christian Igel, Raghavendra Selvan,
- Abstract要約: ディープラーニングモデルの選択、トレーニング、デプロイによるエネルギー消費は、最近大幅に増加しています。
この研究は、計算資源の少ないエネルギー効率の高いディープラーニングモデルの設計を容易にすることを目的としている。
- 参考スコア（独自算出の注目度）: 7.178157652947453
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Energy consumption from the selection, training, and deployment of deep learning models has seen a significant uptick recently. This work aims to facilitate the design of energy-efficient deep learning models that require less computational resources and prioritize environmental sustainability by focusing on the energy consumption. Neural architecture search (NAS) benefits from tabular benchmarks, which evaluate NAS strategies cost-effectively through precomputed performance statistics. We advocate for including energy efficiency as an additional performance criterion in NAS. To this end, we introduce an enhanced tabular benchmark encompassing data on energy consumption for varied architectures. The benchmark, designated as EC-NAS, has been made available in an open-source format to advance research in energy-conscious NAS. EC-NAS incorporates a surrogate model to predict energy consumption, aiding in diminishing the energy expenditure of the dataset creation. Our findings emphasize the potential of EC-NAS by leveraging multi-objective optimization algorithms, revealing a balance between energy usage and accuracy. This suggests the feasibility of identifying energy-lean architectures with little or no compromise in performance.
- Abstract（参考訳）: ディープラーニングモデルの選択、トレーニング、デプロイによるエネルギー消費は、最近大幅に増加しています。
本研究の目的は、計算資源の少ないエネルギー効率の深いディープラーニングモデルの設計を容易にし、エネルギー消費に着目して環境保全性を優先することである。
ニューラルネットワークサーチ(NAS)は、事前計算されたパフォーマンス統計によってNAS戦略を費用対効果で評価する表型ベンチマークの恩恵を受ける。
我々はNASのさらなる性能基準としてエネルギー効率を含めることを提唱する。
この目的のために,様々なアーキテクチャのエネルギー消費に関するデータを含む拡張表型ベンチマークを導入する。
EC-NASと命名されたこのベンチマークは、エネルギーを意識したNASの研究を進めるために、オープンソース形式で公開されている。
EC-NASは、サロゲートモデルを用いてエネルギー消費を予測し、データセット作成のエネルギー消費を減少させる。
本研究は,多目的最適化アルゴリズムを活用することでEC-NASの可能性を強調し,エネルギー使用量と精度のバランスを明らかにする。
このことは、パフォーマンスにほとんど、あるいは全く妥協のないエネルギリーンアーキテクチャを識別できる可能性を示唆している。
関連論文リスト
- THOR: A Generic Energy Estimation Approach for On-Device Training [34.57867978862375]
THORは、ディープニューラルネットワーク(DNN)トレーニングにおけるエネルギー消費推定のための一般的なアプローチである。
我々は、様々な現実世界のプラットフォームにまたがる様々なタイプのモデルで広範な実験を行う。
その結果,THORは平均絶対パーセンテージ誤差(MAPE)を最大30%削減した。
論文 参考訳（メタデータ） (2025-01-27T03:29:02Z) - Just In Time Transformers [2.7350304370706797]
JITtransは,エネルギー消費予測精度を大幅に向上させる,トランスフォーマー深層学習モデルである。
本研究は, エネルギー管理を革新し, 持続可能な電力システムを構築するための先進的な予測技術の可能性を明らかにするものである。
論文 参考訳（メタデータ） (2024-10-22T10:33:00Z) - Measuring the Energy Consumption and Efficiency of Deep Neural Networks:
An Empirical Analysis and Design Recommendations [0.49478969093606673]
BUTTER-Eデータセットは、BUTTER Empirical Deep Learningデータセットの拡張である。
このデータセットは、データセットのサイズ、ネットワーク構造、エネルギー使用の複雑な関係を明らかにする。
本稿では,ネットワークサイズ,コンピューティング,メモリ階層を考慮した,単純かつ効率的なエネルギーモデルを提案する。
論文 参考訳（メタデータ） (2024-03-13T00:27:19Z) - Robustifying and Boosting Training-Free Neural Architecture Search [49.828875134088904]
本稿では,多種多様なタスクにおいて,頑健で一貫したパフォーマンスの指標を開発するために,トレーニング不要なNAS (RoBoT) アルゴリズムを提案する。
注目すべきは、我々のRoBoTの期待性能が理論的に保証され、既存のトレーニングフリーNASよりも改善されることだ。
論文 参考訳（メタデータ） (2024-03-12T12:24:11Z) - Carbon-Efficient Neural Architecture Search [6.734886271130468]
本研究は, モデル設計プロセスにおいて, エネルギーコストを低減し, 炭素効率を向上させることを目的としたニューラルアーキテクチャサーチ(NAS)に対する新しいアプローチを提案する。
提案するフレームワークは, 炭素効率NAS (CE-NAS) と呼ばれ, エネルギー要求の異なるNAS評価アルゴリズムと多目的サンプリング戦略からなる。
最近のNASベンチマークデータセットと2つの炭素トレースを用いて、私たちのトレース駆動シミュレーションは、CE-NASが3つのベースラインよりも優れた炭素と探索効率を達成することを示した。
論文 参考訳（メタデータ） (2023-07-09T09:03:10Z) - Energy Efficiency of Training Neural Network Architectures: An Empirical
Study [11.325530936177493]
ディープラーニングモデルの評価は、伝統的に精度、F1スコア、関連する指標などの基準に焦点を当ててきた。
このようなモデルを訓練するために必要な計算は、大きな炭素フットプリントを必要とする。
本研究では, DLモデルアーキテクチャと環境影響との関係を, エネルギー消費の観点から検討した。
論文 参考訳（メタデータ） (2023-02-02T09:20:54Z) - U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture
Search [50.33956216274694]
ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。
本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。
我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8～4倍の高速化を実現している。
論文 参考訳（メタデータ） (2022-03-23T13:44:15Z) - Understanding and Accelerating Neural Architecture Search with
Training-Free and Theory-Grounded Metrics [117.4281417428145]
この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。
NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。
我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
論文 参考訳（メタデータ） (2021-08-26T17:52:07Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳（メタデータ） (2020-09-08T15:51:23Z) - Towards the Systematic Reporting of the Energy and Carbon Footprints of
Machine Learning [68.37641996188133]
我々は、リアルタイムエネルギー消費と二酸化炭素排出量を追跡するための枠組みを導入する。
エネルギー効率のよい強化学習アルゴリズムのためのリーダーボードを作成します。
炭素排出量削減とエネルギー消費削減のための戦略を提案する。
論文 参考訳（メタデータ） (2020-01-31T05:12:59Z) - NeurOpt: Neural network based optimization for building energy
management and climate control [58.06411999767069]
モデル同定のコストを削減するために,ニューラルネットワークに基づくデータ駆動制御アルゴリズムを提案する。
イタリアにある10の独立したゾーンを持つ2階建ての建物で、学習と制御のアルゴリズムを検証する。
論文 参考訳（メタデータ） (2020-01-22T00:51:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。