論文の概要: Domain-Agnostic Batch Bayesian Optimization with Diverse Constraints via Bayesian Quadrature

• arxiv url: http://arxiv.org/abs/2306.05843v1
• Date: Fri, 9 Jun 2023 12:17:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 13:27:53.461224
• Title: Domain-Agnostic Batch Bayesian Optimization with Diverse Constraints via Bayesian Quadrature
• Title（参考訳）: ベイズ二次数による多様な制約を持つ領域非依存バッチベイズ最適化
• Authors: Masaki Adachi, Satoshi Hayakawa, Xingchen Wan, Martin J{\o}rgensen, Harald Oberhauser, Michael A. Osborne
• Abstract要約: 実世界の最適化問題は、しばしば様々な制約、(2)離散空間と混合空間の複雑な組み合わせを特徴とし、(3)高度に並列化可能である。 本稿では,AdachiらによるSOBERに基づくベイズ最適化のためのドメインに依存しない並列アクティブサンプリングであるcSOBERを提案する。 cSOBERは、安全性に制約のある薬物発見や、グラフ構造化空間上での人間関係を意識したチームの最適化など、現実世界のブラックボックスに制約のある様々な問題に対して、競争上のベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 24.03937380795176
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Real-world optimisation problems often feature complex combinations of (1) diverse constraints, (2) discrete and mixed spaces, and are (3) highly parallelisable. (4) There are also cases where the objective function cannot be queried if unknown constraints are not satisfied, e.g. in drug discovery, safety on animal experiments (unknown constraints) must be established before human clinical trials (querying objective function) may proceed. However, most existing works target each of the above three problems in isolation and do not consider (4) unknown constraints with query rejection. For problems with diverse constraints and/or unconventional input spaces, it is difficult to apply these techniques as they are often mutually incompatible. We propose cSOBER, a domain-agnostic prudent parallel active sampler for Bayesian optimisation, based on SOBER of Adachi et al. (2023). We consider infeasibility under unknown constraints as a type of integration error that we can estimate. We propose a theoretically-driven approach that propagates such error as a tolerance in the quadrature precision that automatically balances exploitation and exploration with the expected rejection rate. Moreover, our method flexibly accommodates diverse constraints and/or discrete and mixed spaces via adaptive tolerance, including conventional zero-risk cases. We show that cSOBER outperforms competitive baselines on diverse real-world blackbox-constrained problems, including safety-constrained drug discovery, and human-relationship-aware team optimisation over graph-structured space.
• Abstract（参考訳）: 実世界の最適化問題は、(1)多様な制約、(2)離散空間、および混合空間の複雑な組み合わせを特徴とすることが多い。 (4) 未知の制約が満たされていない場合、例えば、薬物発見においては、ヒトの臨床試験(探索目的関数)が進行する前に、動物実験(未知の制約)の安全性を確立する必要がある場合もある。 しかし、既存の作業の多くは上記の3つの問題を個別に対象としており、(4)クエリの拒否に関する未知の制約を考慮していない。 多様な制約や非伝統的な入力空間を持つ問題に対して、これらの手法を相互に互換性のないものとして適用することは困難である。 本稿では,Adachi et al. (2023) の SOBER をベースとしたベイズ最適化のためのドメイン非依存プルーデント並列アクティブサンプリングである cSOBER を提案する。 未知の制約の下で実現不可能を推定可能な統合エラーの一種とみなす。 本研究では, 4次精度の許容性などの誤差を伝播させ, 利用と探索のバランスを, 期待された拒絶率と自動的に両立させる理論的手法を提案する。 さらに,従来のゼロリスクの場合を含む適応耐性により,多様な制約や離散空間,混合空間を柔軟に適応する。 csoberは,安全性に制約のある薬物発見や,グラフ構造空間上でのヒューマンリレーショナル・アウェアチーム最適化など,現実世界のさまざまなブラックボックス制約問題において,競争力のあるベースラインを上回っている。

関連論文リスト

• Unraveling Batch Normalization for Realistic Test-Time Adaptation [22.126177142716188]
  本稿では,ミニバッチ劣化問題について考察する。 バッチ正規化を解き放つことにより、不正確なターゲット統計は、バッチのクラス多様性が大幅に減少することに起因することが判明した。 テスト時間指数移動平均(TEMA)という簡単なツールを導入し、トレーニングとテストバッチ間のクラス多様性のギャップを埋める。
  論文  参考訳（メタデータ） (2023-12-15T01:52:35Z)
• BatchGFN: Generative Flow Networks for Batch Active Learning [80.73649229919454]
  BatchGFNは、生成フローネットワークを使用してバッチ報酬に比例したデータポイントのセットをサンプリングする、プールベースのアクティブラーニングのための新しいアプローチである。 提案手法は,おもちゃの回帰問題において,1点当たり1回の前方通過で推定時間に近距離最適効用バッチをサンプリングすることを可能にした。
  論文  参考訳（メタデータ） (2023-06-26T20:41:36Z)
• Scalable Batch Acquisition for Deep Bayesian Active Learning [70.68403899432198]
  ディープラーニングでは、各ステップでマークアップする複数の例を選択することが重要です。 BatchBALDのような既存のソリューションでは、多くの例を選択する際に大きな制限がある。 本稿では,より計算効率のよいLarge BatchBALDアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-13T11:45:17Z)
• Efficiently Controlling Multiple Risks with Pareto Testing [34.83506056862348]
  本稿では,多目的最適化と複数仮説テストを組み合わせた2段階プロセスを提案する。 自然言語処理(NLP)アプリケーションにおいて,大規模トランスフォーマーモデルの実行を確実に高速化する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-14T15:54:39Z)
• A penalisation method for batch multi-objective Bayesian optimisation with application in heat exchanger design [3.867356784754811]
  本稿では,並列処理資源を効率的に活用する多目的ベイズ最適化手法を提案する。 類似の予測対象値を用いて評価を行うことで,バッチの多様性を高めることにより,HIPPOは大量の情報ポイントを安価に構築できることを示す。
  論文  参考訳（メタデータ） (2022-06-27T14:16:54Z)
• Batch Active Learning at Scale [39.26441165274027]
  バッチクエリをラベル付けオラクルに適応的に発行するバッチアクティブラーニングは、この問題に対処するための一般的なアプローチである。 本研究では,大規模なバッチ設定に着目した効率的な能動学習アルゴリズムを解析する。 本研究では,不確実性と多様性の概念を組み合わせたサンプリング手法について,従来より数桁大きなバッチサイズ(100K-1M)に容易にスケール可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-29T18:14:05Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Adaptive Learning of the Optimal Batch Size of SGD [52.50880550357175]
  本稿では,その繰り返しを通じて最適なバッチサイズを適応的に学習し,凸度と滑らかな関数を求める手法を提案する。 実験では、合成データと実データを用いて、ほぼ最適な振る舞いを示す。 我々は,本手法を分散実装に適したサンプリングを含む,文献上考慮されていないいくつかの新しいバッチ戦略に一般化する。
  論文  参考訳（メタデータ） (2020-05-03T14:28:32Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。