論文の概要: Energy Consumption-Aware Tabular Benchmarks for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2210.06015v1
• Date: Wed, 12 Oct 2022 08:39:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 13:09:17.948797
• Title: Energy Consumption-Aware Tabular Benchmarks for Neural Architecture Search
• Title（参考訳）: エネルギー消費を考慮したニューラルアーキテクチャ探索のためのタブラルベンチマーク
• Authors: Pedram Bakhtiarifard, Christian Igel, Raghavendra Selvan
• Abstract要約: NAS戦略の評価は、広い検索空間と適度な計算コストで可能である。 エネルギー消費は、無視すべきでない部分的に矛盾する目標である。 性能とエネルギー消費のトレードオフを明らかにするための多目的NASの有用性を実証する。
• 参考スコア（独自算出の注目度）: 11.773972029187433
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The demand for large-scale computational resources for Neural Architecture Search (NAS) has been lessened by tabular benchmarks for NAS. Evaluating NAS strategies is now possible on extensive search spaces and at a moderate computational cost. But so far, NAS has mainly focused on maximising performance on some hold-out validation/test set. However, energy consumption is a partially conflicting objective that should not be neglected. We hypothesise that constraining NAS to include the energy consumption of training the models could reveal a sub-space of undiscovered architectures that are more computationally efficient with a smaller carbon footprint. To support the hypothesis, an existing tabular benchmark for NAS is augmented with the energy consumption of each architecture. We then perform multi-objective optimisation that includes energy consumption as an additional objective. We demonstrate the usefulness of multi-objective NAS for uncovering the trade-off between performance and energy consumption as well as for finding more energy-efficient architectures. The updated tabular benchmark, EC-NAS-Bench, is open-sourced to encourage the further exploration of energy consumption-aware NAS.
• Abstract（参考訳）: ニューラルネットワーク探索(NAS)のための大規模計算リソースの需要は、NASの表型ベンチマークによって減少している。 NAS戦略の評価は、広い検索空間と適度な計算コストで可能である。 しかしこれまでNASは、いくつかのホールドアウト検証/テストセットのパフォーマンスを最大化することに重点を置いてきた。 しかし、エネルギー消費は無視すべきでない部分的に矛盾する目的である。 我々はnasをモデルトレーニングのエネルギー消費に制限することで、カーボンフットプリントを小さくすることで計算効率が向上する未発見のアーキテクチャのサブスペースを明らかにすることができると仮定する。 この仮説を支持するために、NASの既存の表式ベンチマークを各アーキテクチャのエネルギー消費に応じて拡張する。 次に,エネルギー消費を付加目的とする多目的最適化を行う。 性能とエネルギー消費のトレードオフを明らかにするための多目的NASの有用性と、よりエネルギー効率の良いアーキテクチャの発見について述べる。 更新されたタブラベンチマークEC-NAS-Benchは、エネルギー消費を意識したNASのさらなる探索を促進するためにオープンソース化されている。

関連論文リスト

• Just In Time Transformers [2.7350304370706797]
  JITtransは,エネルギー消費予測精度を大幅に向上させる,トランスフォーマー深層学習モデルである。 本研究は, エネルギー管理を革新し, 持続可能な電力システムを構築するための先進的な予測技術の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2024-10-22T10:33:00Z)
• Revisiting DNN Training for Intermittently Powered Energy Harvesting Micro Computers [0.6721767679705013]
  本研究では,エネルギー制約環境下でのディープニューラルネットワークに適した新しいトレーニング手法を紹介し,評価する。 本稿では,デバイスアーキテクチャとエネルギー可用性の変動性の両方に適応する動的ドロップアウト手法を提案する。 予備的な結果は、この戦略が5%未満の計算量を持つ最先端技術と比較して6～22%の精度向上をもたらすことを示している。
  論文  参考訳（メタデータ） (2024-08-25T01:13:00Z)
• Measuring the Energy Consumption and Efficiency of Deep Neural Networks: An Empirical Analysis and Design Recommendations [0.49478969093606673]
  BUTTER-Eデータセットは、BUTTER Empirical Deep Learningデータセットの拡張である。 このデータセットは、データセットのサイズ、ネットワーク構造、エネルギー使用の複雑な関係を明らかにする。 本稿では,ネットワークサイズ,コンピューティング,メモリ階層を考慮した,単純かつ効率的なエネルギーモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-13T00:27:19Z)
• Robustifying and Boosting Training-Free Neural Architecture Search [49.828875134088904]
  本稿では,多種多様なタスクにおいて,頑健で一貫したパフォーマンスの指標を開発するために,トレーニング不要なNAS (RoBoT) アルゴリズムを提案する。 注目すべきは、我々のRoBoTの期待性能が理論的に保証され、既存のトレーニングフリーNASよりも改善されることだ。
  論文  参考訳（メタデータ） (2024-03-12T12:24:11Z)
• EASRec: Elastic Architecture Search for Efficient Long-term Sequential Recommender Systems [82.76483989905961]
  現在のSRS(Sequential Recommender Systems)は、計算とリソースの非効率に悩まされている。 我々は、効率的な長期シーケンスレコメンダシステム(EASRec)のための弾性アーキテクチャー探索を開発する。 EASRecは、入力データバッチから履歴情報を活用するデータ認識ゲートを導入し、レコメンデーションネットワークの性能を改善する。
  論文  参考訳（メタデータ） (2024-02-01T07:22:52Z)
• Carbon-Efficient Neural Architecture Search [6.734886271130468]
  本研究は, モデル設計プロセスにおいて, エネルギーコストを低減し, 炭素効率を向上させることを目的としたニューラルアーキテクチャサーチ(NAS)に対する新しいアプローチを提案する。 提案するフレームワークは, 炭素効率NAS (CE-NAS) と呼ばれ, エネルギー要求の異なるNAS評価アルゴリズムと多目的サンプリング戦略からなる。 最近のNASベンチマークデータセットと2つの炭素トレースを用いて、私たちのトレース駆動シミュレーションは、CE-NASが3つのベースラインよりも優れた炭素と探索効率を達成することを示した。
  論文  参考訳（メタデータ） (2023-07-09T09:03:10Z)
• Energy Efficiency of Training Neural Network Architectures: An Empirical Study [11.325530936177493]
  ディープラーニングモデルの評価は、伝統的に精度、F1スコア、関連する指標などの基準に焦点を当ててきた。 このようなモデルを訓練するために必要な計算は、大きな炭素フットプリントを必要とする。 本研究では, DLモデルアーキテクチャと環境影響との関係を, エネルギー消費の観点から検討した。
  論文  参考訳（メタデータ） (2023-02-02T09:20:54Z)
• U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture Search [50.33956216274694]
  ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。 本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。 我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8～4倍の高速化を実現している。
  論文  参考訳（メタデータ） (2022-03-23T13:44:15Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• Towards the Systematic Reporting of the Energy and Carbon Footprints of Machine Learning [68.37641996188133]
  我々は、リアルタイムエネルギー消費と二酸化炭素排出量を追跡するための枠組みを導入する。 エネルギー効率のよい強化学習アルゴリズムのためのリーダーボードを作成します。 炭素排出量削減とエネルギー消費削減のための戦略を提案する。
  論文  参考訳（メタデータ） (2020-01-31T05:12:59Z)
• NeurOpt: Neural network based optimization for building energy management and climate control [58.06411999767069]
  モデル同定のコストを削減するために,ニューラルネットワークに基づくデータ駆動制御アルゴリズムを提案する。 イタリアにある10の独立したゾーンを持つ2階建ての建物で、学習と制御のアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2020-01-22T00:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。