論文の概要: FlexiBO: A Decoupled Cost-Aware Multi-Objective Optimization Approach
for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2001.06588v3
- Date: Sun, 21 Aug 2022 16:32:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 05:02:12.080920
- Title: FlexiBO: A Decoupled Cost-Aware Multi-Objective Optimization Approach
for Deep Neural Networks
- Title（参考訳）: flexibo:ディープニューラルネットワークのためのコスト対応マルチ目的最適化アプローチ
- Authors: Md Shahriar Iqbal, Jianhai Su, Lars Kotthoff, Pooyan Jamshidi
- Abstract要約: 我々は,FlexiBO(Flexible Multi-Objective Bayesian Optimization)と呼ばれる新しい多目的最適化アルゴリズムを開発し,この問題に対処する。
我々は、画像認識、自然言語処理(NLP)、音声からテキストへの翻訳のための7つの最先端DNN上でFlexiBOを評価する。
- 参考スコア（独自算出の注目度）: 4.596221278839825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The design of machine learning systems often requires trading off different
objectives, for example, prediction error and energy consumption for deep
neural networks (DNNs). Typically, no single design performs well in all
objectives; therefore, finding Pareto-optimal designs is of interest. The
search for Pareto-optimal designs involves evaluating designs in an iterative
process, and the measurements are used to evaluate an acquisition function that
guides the search process. However, measuring different objectives incurs
different costs. For example, the cost of measuring the prediction error of
DNNs is orders of magnitude higher than that of measuring the energy
consumption of a pre-trained DNN, as it requires re-training the DNN. Current
state-of-the-art methods do not consider this difference in objective
evaluation cost, potentially incurring expensive evaluations of objective
functions in the optimization process. In this paper, we develop a novel
decoupled and cost-aware multi-objective optimization algorithm, we call
Flexible Multi-Objective Bayesian Optimization (FlexiBO) to address this issue.
FlexiBO weights the improvement of the hypervolume of the Pareto region by the
measurement cost of each objective to balance the expense of collecting new
information with the knowledge gained through objective evaluations, preventing
us from performing expensive measurements for little to no gain. We evaluate
FlexiBO on seven state-of-the-art DNNs for image recognition, natural language
processing (NLP), and speech-to-text translation. Our results indicate that,
given the same total experimental budget, FlexiBO discovers designs with
4.8$\%$ to 12.4$\%$ lower hypervolume error than the best method in
state-of-the-art multi-objective optimization.
- Abstract（参考訳）: 機械学習システムの設計は、例えばディープニューラルネットワーク(DNN)の予測エラーやエネルギー消費など、異なる目的のトレードオフを必要とすることが多い。
通常、全ての目的において単一の設計がうまく機能しないため、パレート最適設計を見つけることは興味がある。
Pareto-optimalデザインの探索は反復的なプロセスで設計を評価することを含み、その測定は探索プロセスのガイドとなる取得関数を評価するために使用される。
しかし、異なる目的を測ると異なるコストが発生する。
例えば、DNNの予測誤差を測定するコストは、DNNの再訓練を必要とするため、事前訓練されたDNNのエネルギー消費を測定するコストよりも桁違いに高い。
現在の最先端手法では、この客観的評価コストの違いを考慮せず、最適化プロセスにおける客観的関数の高価な評価をもたらす可能性がある。
本稿では,フレキシブル・マルチ目的ベイズ最適化 (flexibo) と呼ばれる,新しい非結合・コスト対応多目的最適化アルゴリズムを開発した。
フレキシボは,新たな情報収集の費用と客観的評価による知識のバランスをとるために,各目的の計測コストによるパレート域のハイパーボリュームの改善を重み付けし,高額な測定をほとんど利益を得ることなく行えないようにした。
我々は、画像認識、自然言語処理(NLP)、音声テキスト翻訳のための7つの最先端DNN上でFlexiBOを評価する。
以上の結果から,FlexiBO は4.8$\% から12.4$\% の低い超体積誤差を持つ設計を,最先端の多目的最適化において最も優れた手法として見出すことができた。
関連論文リスト
- Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。
本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。
特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
論文 参考訳（メタデータ） (2024-06-14T07:16:18Z) - Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。
このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
論文 参考訳（メタデータ） (2024-05-28T07:38:39Z) - End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T16:33:35Z) - Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。
実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-10-07T02:12:34Z) - Bayesian Optimization Over Iterative Learners with Structured Responses:
A Budget-aware Planning Approach [31.918476422203412]
本稿では,HPO 問題を解決するため,Budget-Aware Planning for Iterative Learningers (BAPI) と呼ばれる新しい手法を提案する。
反復学習者のための多様なHPOベンチマークの実験では、ほとんどの場合、BAPIは最先端のベースラインよりも優れた性能を示している。
論文 参考訳（メタデータ） (2022-06-25T18:44:06Z) - Cost-Effective Federated Learning in Mobile Edge Networks [37.16466118235272]
フェデレートラーニング(FL)は、多くのモバイルデバイスが生データを共有せずに協調的にモデルを学習できる分散ラーニングパラダイムである。
本研究は,モバイルエッジネットワークにおける適応FLの設計手法を解析し,本質的な制御変数を最適に選択し,総コストを最小化する。
我々は,収束関連未知パラメータを学習するために,低コストなサンプリングベースアルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-09-12T03:02:24Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳（メタデータ） (2021-07-14T17:55:28Z) - Multi-Fidelity Multi-Objective Bayesian Optimization: An Output Space
Entropy Search Approach [44.25245545568633]
複数目的のブラックボックス最適化の新たな課題を多要素関数評価を用いて検討する。
いくつかの総合的および実世界のベンチマーク問題に対する実験により、MF-OSEMOは両者の近似により、最先端の単一忠実度アルゴリズムよりも大幅に改善されていることが示された。
論文 参考訳（メタデータ） (2020-11-02T06:59:04Z) - Information-Theoretic Multi-Objective Bayesian Optimization with
Continuous Approximations [44.25245545568633]
この問題を解決するために,情報理論を用いた連続近似を用いた多目的ベイズ最適化(iMOCA)を提案する。
種々の総合的および実世界のベンチマーク実験により、iMOCAは既存の単一忠実度法よりも大幅に改善されていることが示された。
論文 参考訳（メタデータ） (2020-09-12T01:46:03Z) - Multi-Fidelity Bayesian Optimization via Deep Neural Networks [19.699020509495437]
多くのアプリケーションでは、目的関数を複数の忠実度で評価することで、コストと精度のトレードオフを可能にする。
本稿では,DNN-MFBO(Deep Neural Network Multi-Fidelity Bayesian Optimization)を提案する。
本手法の利点は, 総合的なベンチマークデータセットと, 工学設計における実世界の応用の両方にある。
論文 参考訳（メタデータ） (2020-07-06T23:28:40Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳（メタデータ） (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。