論文の概要: Bayesian optimization for modular black-box systems with switching costs
- arxiv url: http://arxiv.org/abs/2006.02624v2
- Date: Mon, 11 Oct 2021 20:05:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 09:15:07.351128
- Title: Bayesian optimization for modular black-box systems with switching costs
- Title(参考訳): スイッチングコストを伴うモジュラーブラックボックスシステムのベイズ最適化
- Authors: Chi-Heng Lin, Joseph D. Miano, Eva L. Dyer
- Abstract要約: 我々はLaMBO(Lazy Modular Bayesian Optimization)と呼ばれるスイッチコストを考慮した新しいアルゴリズムを提案する。
LaMBOは、初期モジュールにおける変数の受動的変更によるコストを最小化しながら、グローバルな最適化を効率的に識別する。
複数の合成機能にLaMBOを応用し,神経科学応用に使用される3段階画像分割パイプラインを試作した。
- 参考スコア(独自算出の注目度): 9.595357496779394
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing black-box optimization methods assume that all variables in the
system being optimized have equal cost and can change freely at each iteration.
However, in many real world systems, inputs are passed through a sequence of
different operations or modules, making variables in earlier stages of
processing more costly to update. Such structure imposes a cost on switching
variables in early parts of a data processing pipeline. In this work, we
propose a new algorithm for switch cost-aware optimization called Lazy Modular
Bayesian Optimization (LaMBO). This method efficiently identifies the global
optimum while minimizing cost through a passive change of variables in early
modules. The method is theoretical grounded and achieves vanishing regret when
augmented with switching cost. We apply LaMBO to multiple synthetic functions
and a three-stage image segmentation pipeline used in a neuroscience
application, where we obtain promising improvements over prevailing cost-aware
Bayesian optimization algorithms. Our results demonstrate that LaMBO is an
effective strategy for black-box optimization that is capable of minimizing
switching costs in modular systems.
- Abstract(参考訳): 既存のブラックボックス最適化手法の多くは、最適化されるシステムのすべての変数が同じコストで、各イテレーションで自由に変更できると仮定している。
しかし、多くの実世界のシステムでは、入力は異なる操作やモジュールのシーケンスに渡され、初期処理の変数は更新するのによりコストがかかる。
このような構造は、データ処理パイプラインの初期部分における変数のスイッチングにコストがかかる。
本研究では,LaMBO (Lazy Modular Bayesian Optimization) と呼ばれるコスト認識最適化アルゴリズムを提案する。
本手法は初期モジュールの変数のパッシブ変化によりコストを最小化しつつ、グローバル最適を効率的に特定する。
この方法は理論的根拠があり、スイッチングコストの増大による後悔の解消を実現する。
我々はLaMBOを複数の合成関数に適用し、神経科学アプリケーションで使用される3段階画像分割パイプラインを構築し、一般的なコスト認識ベイズ最適化アルゴリズムよりも有望な改善を得た。
その結果,モジュールシステムにおけるスイッチングコストを最小化できるブラックボックス最適化の効果的な戦略であることがわかった。
関連論文リスト
- Cost-aware Bayesian Optimization via the Pandora's Box Gittins Index [57.045952766988925]
我々は,コストを意識したベイズ最適化と,経済学の意思決定問題であるPandoraのBox問題との間に,従来未解決の接続関係を構築した。
我々の研究は、Gittinsインデックス理論からベイズ最適化への技術統合に向けた第一歩となる。
論文 参考訳(メタデータ) (2024-06-28T17:20:13Z) - Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。
私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
論文 参考訳(メタデータ) (2024-05-30T06:24:14Z) - Landscape Surrogate: Learning Decision Losses for Mathematical
Optimization Under Partial Information [48.784330281177446]
学習統合最適化の最近の研究は、最適化が部分的にのみ観察される場合や、専門家のチューニングなしに汎用性が不十分な環境では有望であることを示している。
本稿では,$fcirc mathbfg$の代替として,スムーズで学習可能なランドスケープサロゲートを提案する。
このサロゲートはニューラルネットワークによって学習可能で、$mathbfg$ソルバよりも高速に計算でき、トレーニング中に密度が高く滑らかな勾配を提供し、目に見えない最適化問題に一般化でき、交互最適化によって効率的に学習される。
論文 参考訳(メタデータ) (2023-07-18T04:29:16Z) - Movement Penalized Bayesian Optimization with Application to Wind Energy
Systems [84.7485307269572]
文脈ベイズ最適化(CBO)は、与えられた側情報を逐次決定する強力なフレームワークである。
この設定では、学習者は各ラウンドでコンテキスト(天気条件など)を受け取り、アクション(タービンパラメータなど)を選択する必要がある。
標準的なアルゴリズムは、すべてのラウンドで意思決定を切り替えるコストを前提としませんが、多くの実用的なアプリケーションでは、このような変更に関連するコストが最小化されるべきです。
論文 参考訳(メタデータ) (2022-10-14T20:19:32Z) - SnAKe: Bayesian Optimization with Pathwise Exploration [9.807656882149319]
本稿では,イテレーション間の大きな入力変更を行う場合,関数評価のコストが大幅に増大する,という新しい設定について考察する。
本稿では,この問題を考察し,適応接続サンプルを用いた逐次ベイズ最適化(SnAKe)を導入する。
将来のクエリを考慮し、入力コストを最小限に抑える最適化パスをプリエンプティブに構築することで、ソリューションを提供する。
論文 参考訳(メタデータ) (2022-01-31T19:42:56Z) - LinEasyBO: Scalable Bayesian Optimization Approach for Analog Circuit
Synthesis via One-Dimensional Subspaces [11.64233949999656]
アナログ回路合成のための1次元部分空間による高速でロバストなベイズ最適化手法を提案する。
提案アルゴリズムは,バッチサイズが15のとき,LP-EIおよびREMBOpBOと比較して最大9倍,38倍の最適化手順を高速化できる。
論文 参考訳(メタデータ) (2021-09-01T21:25:25Z) - A Nonmyopic Approach to Cost-Constrained Bayesian Optimization [10.078368988372247]
コスト制約付きBOを制約付きマルコフ決定過程(CMDP)として定式化する。
コストと将来のイテレーションを考慮に入れた最適CMDPポリシーに対する効率的なロールアウト近似を開発する。
論文 参考訳(メタデータ) (2021-06-10T22:44:37Z) - Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。
本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。
本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-04T00:26:56Z) - Pareto-efficient Acquisition Functions for Cost-Aware Bayesian
Optimization [5.459427541271035]
ブラックボックス関数に対するコスト対応ベイズ最適化について述べる。
144個の実世界のブラックボックス関数最適化問題に対して、我々のソリューションは50%のスピードアップをもたらす。
また、ガウスのプロセスコストモデルに対する一般的な選択を再考し、単純で低分散のコストモデルがトレーニング時間を効果的に予測することを示した。
論文 参考訳(メタデータ) (2020-11-23T15:06:07Z) - A Primer on Zeroth-Order Optimization in Signal Processing and Machine
Learning [95.85269649177336]
ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。
我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
論文 参考訳(メタデータ) (2020-06-11T06:50:35Z) - Cost-aware Bayesian Optimization [6.75013674088437]
コストを意識したBOは、時間、エネルギー、お金といった他のコスト指標との収束を測定します。
我々は,目標関数をできるだけ少ないコストで最小化しようとするコスト調整BO(CArBO)を導入する。
論文 参考訳(メタデータ) (2020-03-22T14:51:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。