論文の概要: Guidelines for the Quality Assessment of Energy-Aware NAS Benchmarks
- arxiv url: http://arxiv.org/abs/2505.15631v1
- Date: Wed, 21 May 2025 15:16:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-22 15:42:59.729195
- Title: Guidelines for the Quality Assessment of Energy-Aware NAS Benchmarks
- Title（参考訳）: エネルギー対応NASベンチマークの品質評価ガイドライン
- Authors: Nick Kocher, Christian Wassermann, Leona Hennig, Jonas Seng, Holger Hoos, Kristian Kersting, Marius Lindauer, Matthias Müller,
- Abstract要約: エネルギーを意識したベンチマークは、NASがモデルエネルギー消費を精度から引き離すことを可能にすることを目的としている。
これらの原則に基づいてEA-HAS-Benchを分析し、GPU測定APIの選択が結果の品質に大きな影響を与えることを発見した。
- 参考スコア（独自算出の注目度）: 26.441107070248016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Architecture Search (NAS) accelerates progress in deep learning through systematic refinement of model architectures. The downside is increasingly large energy consumption during the search process. Surrogate-based benchmarking mitigates the cost of full training by querying a pre-trained surrogate to obtain an estimate for the quality of the model. Specifically, energy-aware benchmarking aims to make it possible for NAS to favourably trade off model energy consumption against accuracy. Towards this end, we propose three design principles for such energy-aware benchmarks: (i) reliable power measurements, (ii) a wide range of GPU usage, and (iii) holistic cost reporting. We analyse EA-HAS-Bench based on these principles and find that the choice of GPU measurement API has a large impact on the quality of results. Using the Nvidia System Management Interface (SMI) on top of its underlying library influences the sampling rate during the initial data collection, returning faulty low-power estimations. This results in poor correlation with accurate measurements obtained from an external power meter. With this study, we bring to attention several key considerations when performing energy-aware surrogate-based benchmarking and derive first guidelines that can help design novel benchmarks. We show a narrow usage range of the four GPUs attached to our device, ranging from 146 W to 305 W in a single-GPU setting, and narrowing down even further when using all four GPUs. To improve holistic energy reporting, we propose calibration experiments over assumptions made in popular tools, such as Code Carbon, thus achieving reductions in the maximum inaccuracy from 10.3 % to 8.9 % without and to 6.6 % with prior estimation of the expected load on the device.
- Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、モデルアーキテクチャの体系的な洗練を通じて、ディープラーニングの進歩を加速する。
マイナス面は、探索過程におけるエネルギー消費の増大である。
サロゲートベースのベンチマークは、トレーニング済みのサロゲートに問い合わせてモデルの品質を見積もることで、フルトレーニングのコストを軽減します。
具体的には、エネルギーを意識したベンチマークは、NASがモデルエネルギー消費を精度に対して好意的に引き離すことを可能にすることを目的としている。
この目的に向けて、エネルギーを意識したベンチマークの3つの設計原則を提案する。
(i)信頼性のある電力測定
(ii)幅広いGPU使用率、および
三 総費用の申告
これらの原則に基づいてEA-HAS-Benchを分析し、GPU測定APIの選択が結果の品質に大きな影響を与えることを発見した。
基盤となるライブラリの上のNvidia System Management Interface(SMI)を使用することで、初期データ収集時のサンプリングレートに影響を与え、不良な低電力推定を返す。
これにより、外部のパワーメータから得られる正確な測定値と相関が低い。
本研究では,エネルギーを意識したサロゲートベースのベンチマークを行う上で,いくつかの重要な考慮事項に注意を向け,新しいベンチマークを設計するための最初のガイドラインを導出する。
単一のGPU設定で146 Wから305 Wまで、そして4つのGPUすべてを使用する場合、さらに絞り込むことができる。
汎用エネルギーレポートを改善するため,Code Carbonなどの一般的なツールにおける仮定に対する校正実験を提案し,デバイスに期待される負荷の事前推定により,最大不正確度を10.3%から8.9%に削減した。
関連論文リスト
- EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。
本稿では,新しいベンチマークであるEfficientLLMを紹介する。
論文 参考訳（メタデータ） (2025-05-20T02:27:08Z) - The ML.ENERGY Benchmark: Toward Automated Inference Energy Measurement and Optimization [18.675499212393785]
エネルギーは、しばしば見落とされ、探索されていない、あるいはMLシステム構築の文脈でよく理解されていない指標である。
本稿では,現実的なサービス環境下での推論エネルギー消費を測定するためのベンチマークスイートとツールであるML.ENERGYベンチマークを紹介する。
論文 参考訳（メタデータ） (2025-05-09T18:27:32Z) - A Light Perspective for 3D Object Detection [46.23578780480946]
本稿では,最先端のDeep Learning技術を特徴抽出に取り入れた新しい手法を提案する。
私たちのモデルであるNextBEVは、ResNet50やMobileNetV3といった既存の機能抽出ツールを超えています。
これらの軽量な提案を融合することにより、VoxelNetベースのモデルの精度を2.93%向上し、PointPillarベースのモデルのF1スコアを約20%改善しました。
論文 参考訳（メタデータ） (2025-03-10T10:03:23Z) - Value-Based Deep RL Scales Predictably [100.21834069400023]
本研究は, 地域社会が病的行動に不安を抱いているにもかかわらず, 価値に基づく非政治的RL法が予測可能であることを示す。
SAC、BRO、PQLの3つのアルゴリズムを使って、DeepMind Control、OpenAI gym、IsaacGymの3つのアプローチを検証する。
論文 参考訳（メタデータ） (2025-02-06T18:59:47Z) - Unveiling Energy Efficiency in Deep Learning: Measurement, Prediction, and Scoring across Edge Devices [8.140572894424208]
我々はエネルギー測定、予測、効率評価を含む3倍の研究を行う。
まず、デバイス上での深層学習のエネルギー消費特性を明らかにするための、第1級の詳細な測定結果を示す。
第2に、カーネルレベルのエネルギーデータセットに基づいて、エッジデバイスのための最初のカーネルレベルのエネルギー予測器を設計、実装する。
論文 参考訳（メタデータ） (2023-10-19T23:55:00Z) - EnergyAnalyzer: Using Static WCET Analysis Techniques to Estimate the
Energy Consumption of Embedded Applications [0.6144680854063939]
EnergyAnalyzerは、組み込みソフトウェアのエネルギー消費を推定するためのコードレベルの静的解析ツールである。
これは、エネルギー特性が第一級市民である組み込みアプリケーションを開発するためのツールチェーンを提供することを目的とした、TeamPlayと呼ばれるより大きなプロジェクトの一部として開発された。
論文 参考訳（メタデータ） (2023-05-24T10:01:32Z) - MAPLE: Microprocessor A Priori for Latency Estimation [81.91509153539566]
現代のディープニューラルネットワークは、低レイテンシとエネルギー消費を示しながら最先端の精度を示す必要がある。
評価されたアーキテクチャのレイテンシの測定は、NASプロセスにかなりの時間を加えます。
転送学習やドメイン適応に依存しない推定用マイクロプロセッサAプライオリティを提案する。
論文 参考訳（メタデータ） (2021-11-30T03:52:15Z) - An Ensemble Learning Approach for In-situ Monitoring of FPGA Dynamic
Power [20.487660974785943]
FPGAのランタイム動的パワーを正確に推定できる電力監視方式を提案し,評価する。
本稿では,複数のカスタマイズされたベースラーナーに分解可能な,新規で特殊なアンサンブルモデルについて述べる。
実験では,商業ゲートレベルの電力推定ツールの4.51%以内において,単一の決定木モデルが予測誤差を達成できることを最初に示した。
論文 参考訳（メタデータ） (2020-09-03T03:39:14Z) - APQ: Joint Search for Network Architecture, Pruning and Quantization
Policy [49.3037538647714]
本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。
ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。
同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
論文 参考訳（メタデータ） (2020-06-15T16:09:17Z) - Benchmarking Graph Neural Networks [75.42159546060509]
グラフニューラルネットワーク(GNN)は、グラフ上のデータから分析および学習するための標準ツールキットとなっている。
成功している分野が主流で信頼性を持つようになるためには、進捗を定量化するためにベンチマークを開発する必要がある。
GitHubリポジトリは1,800のスターと339のフォークに到達し、提案されているオープンソースフレームワークの有用性を実証している。
論文 参考訳（メタデータ） (2020-03-02T15:58:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。