論文の概要: Resource Aware Multifidelity Active Learning for Efficient Optimization
- arxiv url: http://arxiv.org/abs/2007.04674v1
- Date: Thu, 9 Jul 2020 10:01:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 03:57:33.538211
- Title: Resource Aware Multifidelity Active Learning for Efficient Optimization
- Title（参考訳）: 効率的な最適化のための資源認識多要素アクティブラーニング
- Authors: Francesco Grassi, Giorgio Manganini, Michele Garraffa, Laura Mainini
- Abstract要約: 本稿では,ブラックボックス関数の最適化を高速化するためのリソース・アウェア・アクティブ・ラーニング(RAAL)戦略を紹介する。
RAAL戦略は最適化タスクの大幅な高速化を可能にするために、最適に複数のポイントを投入する。
- 参考スコア（独自算出の注目度）: 0.8717253904965373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional methods for black box optimization require a considerable number
of evaluations which can be time consuming, unpractical, and often unfeasible
for many engineering applications that rely on accurate representations and
expensive models to evaluate. Bayesian Optimization (BO) methods search for the
global optimum by progressively (actively) learning a surrogate model of the
objective function along the search path. Bayesian optimization can be
accelerated through multifidelity approaches which leverage multiple black-box
approximations of the objective functions that can be computationally cheaper
to evaluate, but still provide relevant information to the search task. Further
computational benefits are offered by the availability of parallel and
distributed computing architectures whose optimal usage is an open opportunity
within the context of active learning. This paper introduces the Resource Aware
Active Learning (RAAL) strategy, a multifidelity Bayesian scheme to accelerate
the optimization of black box functions. At each optimization step, the RAAL
procedure computes the set of best sample locations and the associated fidelity
sources that maximize the information gain to acquire during the
parallel/distributed evaluation of the objective function, while accounting for
the limited computational budget. The scheme is demonstrated for a variety of
benchmark problems and results are discussed for both single fidelity and
multifidelity settings. In particular we observe that the RAAL strategy
optimally seeds multiple points at each iteration allowing for a major speed up
of the optimization task.
- Abstract（参考訳）: ブラックボックス最適化の伝統的な手法は、正確な表現と高価なモデルに依存する多くのエンジニアリングアプリケーションにおいて、時間消費、非実用的、しばしば実現不可能な、かなりの数の評価を必要とする。
ベイズ最適化(bo)法は探索経路に沿って目的関数のサロゲートモデルを段階的に(アクティブに)学習することで大域的最適を探索する。
ベイズ最適化は、計算的に安価に評価できるが、検索タスクに関連情報を提供する対象関数の複数のブラックボックス近似を利用するマルチフィデリティアプローチによって加速することができる。
さらなる計算上の利点は、並列および分散コンピューティングアーキテクチャの可用性によって提供され、最適な使用法はアクティブラーニングの文脈におけるオープンな機会である。
本稿では,ブラックボックス関数の最適化を高速化する多要素ベイズ方式であるResource Aware Active Learning (RAAL)戦略を紹介する。
各最適化ステップにおいて、raalプロシージャは、限られた計算予算を考慮しつつ、目的関数の並列/分散評価中に取得する情報ゲインを最大化する最良サンプル位置と関連する忠実度源のセットを算出する。
このスキームは様々なベンチマーク問題に対して実証され、結果は単一忠実度と複数忠実度の設定の両方で議論される。
特に、RAAL戦略は、最適化タスクの大幅な高速化を可能にするため、各イテレーションで複数の点を最適にシードする。
関連論文リスト
- Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。
本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
論文 参考訳（メタデータ） (2024-10-29T14:41:44Z) - Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。
通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。
本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
論文 参考訳（メタデータ） (2024-10-10T17:00:06Z) - Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。
我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。
実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文 参考訳（メタデータ） (2024-06-12T16:58:41Z) - Localized Zeroth-Order Prompt Optimization [54.964765668688806]
そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。
ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。
注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
論文 参考訳（メタデータ） (2024-03-05T14:18:15Z) - End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T16:33:35Z) - A Robust Multi-Objective Bayesian Optimization Framework Considering
Input Uncertainty [0.0]
エンジニアリング設計のような現実的なアプリケーションでは、設計者は複数の目的と入力の不確実性を考慮に入れたい場合が多い。
入力の不確実性を考慮した多目的最適化を効率的に行うための新しいベイズ最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-25T17:45:26Z) - Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive
Networks [17.370056935194786]
我々は,Deep Auto-Regressive Networks (BMBO-DARN) を用いたバッチ多重忠実ベイズ最適化を提案する。
ベイズニューラルネットワークの集合を用いて、完全自己回帰モデルを構築します。
我々は,忠実度を検索することなく,単純かつ効率的なバッチクエリ手法を開発した。
論文 参考訳（メタデータ） (2021-06-18T02:55:48Z) - Bayesian Algorithm Execution: Estimating Computable Properties of
Black-box Functions Using Mutual Information [78.78486761923855]
多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。
本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。
これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
論文 参考訳（メタデータ） (2021-04-19T17:22:11Z) - Multi-Fidelity Multi-Objective Bayesian Optimization: An Output Space
Entropy Search Approach [44.25245545568633]
複数目的のブラックボックス最適化の新たな課題を多要素関数評価を用いて検討する。
いくつかの総合的および実世界のベンチマーク問題に対する実験により、MF-OSEMOは両者の近似により、最先端の単一忠実度アルゴリズムよりも大幅に改善されていることが示された。
論文 参考訳（メタデータ） (2020-11-02T06:59:04Z) - Information-Theoretic Multi-Objective Bayesian Optimization with
Continuous Approximations [44.25245545568633]
この問題を解決するために,情報理論を用いた連続近似を用いた多目的ベイズ最適化(iMOCA)を提案する。
種々の総合的および実世界のベンチマーク実験により、iMOCAは既存の単一忠実度法よりも大幅に改善されていることが示された。
論文 参考訳（メタデータ） (2020-09-12T01:46:03Z) - Multi-Fidelity Bayesian Optimization via Deep Neural Networks [19.699020509495437]
多くのアプリケーションでは、目的関数を複数の忠実度で評価することで、コストと精度のトレードオフを可能にする。
本稿では,DNN-MFBO(Deep Neural Network Multi-Fidelity Bayesian Optimization)を提案する。
本手法の利点は, 総合的なベンチマークデータセットと, 工学設計における実世界の応用の両方にある。
論文 参考訳（メタデータ） (2020-07-06T23:28:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。