論文の概要: Fourier Representations for Black-Box Optimization over Categorical Variables

• arxiv url: http://arxiv.org/abs/2202.03712v1
• Date: Tue, 8 Feb 2022 08:14:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-09 13:43:17.315584
• Title: Fourier Representations for Black-Box Optimization over Categorical Variables
• Title（参考訳）: カテゴリー変数によるブラックボックス最適化のためのフーリエ表現
• Authors: Hamid Dadkhahi, Jesus Rios, Karthikeyan Shanmugam, Payel Das
• Abstract要約: そこで本研究では,ブラックボックス評価のためのサロゲートモデルと組み合わせた既存手法を提案する。 このような表現を学習するために、サロゲートモデルを更新するための2つの異なる設定を検討する。 合成ベンチマークと実世界のRNA配列最適化および設計問題の数値実験により,提案手法の表現力を示す。
• 参考スコア（独自算出の注目度）: 34.0277529502051
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Optimization of real-world black-box functions defined over purely categorical variables is an active area of research. In particular, optimization and design of biological sequences with specific functional or structural properties have a profound impact in medicine, materials science, and biotechnology. Standalone search algorithms, such as simulated annealing (SA) and Monte Carlo tree search (MCTS), are typically used for such optimization problems. In order to improve the performance and sample efficiency of such algorithms, we propose to use existing methods in conjunction with a surrogate model for the black-box evaluations over purely categorical variables. To this end, we present two different representations, a group-theoretic Fourier expansion and an abridged one-hot encoded Boolean Fourier expansion. To learn such representations, we consider two different settings to update our surrogate model. First, we utilize an adversarial online regression setting where Fourier characters of each representation are considered as experts and their respective coefficients are updated via an exponential weight update rule each time the black box is evaluated. Second, we consider a Bayesian setting where queries are selected via Thompson sampling and the posterior is updated via a sparse Bayesian regression model (over our proposed representation) with a regularized horseshoe prior. Numerical experiments over synthetic benchmarks as well as real-world RNA sequence optimization and design problems demonstrate the representational power of the proposed methods, which achieve competitive or superior performance compared to state-of-the-art counterparts, while improving the computation cost and/or sample efficiency, substantially.
• Abstract（参考訳）: 純粋に分類変数上で定義される実世界のブラックボックス関数の最適化は研究の活発な領域である。 特に、特定の機能的または構造的性質を持つ生物学的配列の最適化と設計は、医学、材料科学、バイオテクノロジーに大きな影響を及ぼす。 シミュレーションアニーリング (SA) やモンテカルロ木探索 (MCTS) のようなスタンドアロンの探索アルゴリズムは、そのような最適化問題によく用いられる。 このようなアルゴリズムの性能とサンプル効率を改善するために,従来の手法と協調して,純粋に分類変数に対するブラックボックス評価を行う手法を提案する。 この目的のために、群理論フーリエ展開(group-theoretic Fourier expansion)とブールフーリエ展開(Boolean Fourier expansion)という2つの異なる表現を示す。 このような表現を学習するために、サロゲートモデルを更新するための2つの異なる設定を検討する。 まず,ブラックボックスの評価を行う度に,各表現のフーリエ文字を専門家とし,それぞれの係数を指数重み更新規則により更新する,逆オンライン回帰設定を利用する。 第2に,問合せがトンプソンサンプリングによって選択され,その後方が(提案する表現よりも)スパースベイズ回帰モデルによって更新されるベイズ設定を考える。 合成ベンチマークおよび実世界のRNA配列最適化および設計問題に対する数値実験により,提案手法の表現力を示すとともに,計算コストやサンプル効率を大幅に向上させながら,最先端の手法と比較して競争力や優れた性能を実現する。

関連論文リスト

• BI-EqNO: Generalized Approximate Bayesian Inference with an Equivariant Neural Operator Framework [9.408644291433752]
  一般化されたベイズ近似のための同変ニューラル演算系であるBI-EqNOを導入する。 BI-EqNOは、データ駆動トレーニングを通じて、条件付き観測データに基づいて事前を後方に変換する。 BI-EqNO の応用例は,(1) 回帰のための一般化ガウス過程 (gGP) と(2) 逐次データ同化のためのアンサンブルニューラルフィルタ (EnNF) の2つである。
  論文  参考訳（メタデータ） (2024-10-21T18:39:16Z)
• A survey and benchmark of high-dimensional Bayesian optimization of discrete sequences [12.248793682283964]
  個々のブラックボックス機能を最適化することは、タンパク質工学や薬物設計など、いくつかの領域において重要である。 我々は,高次元ベイズ最適化手法と標準化されたブラックボックス関数の集合を幅広くテストするための統一的なフレームワークを開発する。 これらのベンチマークの2つのコンポーネントはそれぞれ、柔軟でスケーラブルで容易に拡張可能なソフトウェアライブラリによってサポートされています。
  論文  参考訳（メタデータ） (2024-06-07T08:39:40Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Simulation Based Bayesian Optimization [0.6526824510982799]
  本稿では,獲得関数を最適化するための新しいアプローチとして,シミュレーションベースベイズ最適化(SBBO)を提案する。 SBBOは、離散変数を持つ空間に適した代理モデルを使用することができる。 代理モデルの様々な選択を用いたSBBO法の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2024-01-19T16:56:11Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Bayesian Optimization over Permutation Spaces [30.650753803587794]
  BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。 BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。 複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-12-02T08:20:50Z)
• Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
  本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。 インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
  論文  参考訳（メタデータ） (2021-07-30T07:25:07Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。