論文の概要: Automated Computational Energy Minimization of ML Algorithms using Constrained Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2407.05788v1
• Date: Mon, 8 Jul 2024 09:49:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 16:10:47.258510
• Title: Automated Computational Energy Minimization of ML Algorithms using Constrained Bayesian Optimization
• Title（参考訳）: 制約ベイズ最適化を用いたMLアルゴリズムの自動計算エネルギー最小化
• Authors: Pallavi Mitra, Felix Biessmann,
• Abstract要約: 我々は,エネルギー消費を最小化する目的で,制約付きベイズ最適化(CBO)を評価した。 我々は,MLモデルの予測性能を損なうことなく,CBOによる省エネ効果を実証した。
• 参考スコア（独自算出の注目度）: 1.2891210250935148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization (BO) is an efficient framework for optimization of black-box objectives when function evaluations are costly and gradient information is not easily accessible. BO has been successfully applied to automate the task of hyperparameter optimization (HPO) in machine learning (ML) models with the primary objective of optimizing predictive performance on held-out data. In recent years, however, with ever-growing model sizes, the energy cost associated with model training has become an important factor for ML applications. Here we evaluate Constrained Bayesian Optimization (CBO) with the primary objective of minimizing energy consumption and subject to the constraint that the generalization performance is above some threshold. We evaluate our approach on regression and classification tasks and demonstrate that CBO achieves lower energy consumption without compromising the predictive performance of ML models.
• Abstract（参考訳）: ベイズ最適化(BO)は、関数評価がコストがかかり、勾配情報が容易にアクセスできない場合に、ブラックボックスの目的を最適化するための効率的なフレームワークである。 BOは機械学習(ML)モデルにおけるハイパーパラメータ最適化(HPO)タスクの自動化に成功している。 しかし近年,モデルサイズの増大に伴い,モデルトレーニングに伴うエネルギーコストがMLアプリケーションにとって重要な要因となっている。 ここでは、エネルギー消費を最小化し、一般化性能がしきい値を超えるという制約を受けることを目的として、制約付きベイズ最適化(CBO)を評価する。 回帰および分類タスクに対する我々のアプローチを評価し,MLモデルの予測性能を損なうことなく,CBOが低消費電力化を実現することを示す。

関連論文リスト

• Impact of ML Optimization Tactics on Greener Pre-Trained ML Models [46.78148962732881]
  本研究の目的は,画像分類データセットと事前学習モデルの解析,最適化モデルと非最適化モデルを比較して推論効率を向上させること,最適化の経済的影響を評価することである。 画像分類におけるPyTorch最適化手法(動的量子化、トーチ・コンパイル、局所プルーニング、グローバルプルーニング)と42のHugging Faceモデルの影響を評価するための制御実験を行った。 動的量子化は推論時間とエネルギー消費の大幅な削減を示し、大規模システムに非常に適している。
  論文  参考訳（メタデータ） (2024-09-19T16:23:03Z)
• Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
  各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。 このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-05-28T07:38:39Z)
• End-to-End Stochastic Optimization with Energy-Based Model [18.60842637575249]
  近年,未知パラメータを含む客観的最適化問題に対して,DFL(Decision- Focus Learning)が提案されている。 エネルギーモデルを用いた層最適化のための汎用的で効率的なDFL手法SO-EBMを提案する。
  論文  参考訳（メタデータ） (2022-11-25T00:14:12Z)
• Towards Automated Design of Bayesian Optimization via Exploratory Landscape Analysis [11.143778114800272]
  AFの動的選択はBO設計に有用であることを示す。 我々は,オートML支援のオンザフライBO設計への道を開き,その動作をランニング・バイ・ランで調整する。
  論文  参考訳（メタデータ） (2022-11-17T17:15:04Z)
• Optimizing Closed-Loop Performance with Data from Similar Systems: A Bayesian Meta-Learning Approach [1.370633147306388]
  性能最適化タスクから収集したデータに基づいて,メタ学習を用いて初期サロゲートモデルを生成する。 制御系の性能最適化を高速化するためのDKN-BO手法の有効性を実証した。
  論文  参考訳（メタデータ） (2022-10-31T18:25:47Z)
• A General Recipe for Likelihood-free Bayesian Optimization [115.82591413062546]
  我々は,BOをより広範なモデルやユーティリティに拡張する可能性のないBO(LFBO)を提案する。 LFBOは、確率的代理モデルと個別に推論を行うことなく、取得関数を直接モデル化する。 LFBOにおける取得関数の計算は、重み付けされた分類問題を最適化することで削減できることを示す。
  論文  参考訳（メタデータ） (2022-06-27T03:55:27Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
  本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
  論文  参考訳（メタデータ） (2020-08-02T02:56:30Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Sample-Efficient Optimization in the Latent Space of Deep Generative Models via Weighted Retraining [1.5293427903448025]
  深部生成モデルから学習した低次元連続潜伏多様体の最適化を行う,効率的なブラックボックス最適化のための改良手法を提案する。 最適化軌道に沿ってクエリされたデータポイントの生成モデルを定期的に再学習し、目的関数値に応じてこれらのデータポイントを重み付けすることで、これを実現する。 この重み付けされたリトレーニングは既存の手法で容易に実装でき、合成および実世界の最適化問題において、その効率と性能を著しく向上することが実証的に示されている。
  論文  参考訳（メタデータ） (2020-06-16T14:34:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。