論文の概要: Scalable and Flexible Deep Bayesian Optimization with Auxiliary Information for Scientific Problems

• arxiv url: http://arxiv.org/abs/2104.11667v1
• Date: Fri, 23 Apr 2021 15:46:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 14:06:34.864033
• Title: Scalable and Flexible Deep Bayesian Optimization with Auxiliary Information for Scientific Problems
• Title（参考訳）: 科学的問題に対する補助情報を用いたスケーラブルで柔軟なディープベイズ最適化
• Authors: Samuel Kim, Peter Y. Lu, Charlotte Loh, Jamie Smith, Jasper Snoek, Marin Solja\v{c}i\'c
• Abstract要約: ベイジアンニューラルネットワーク(BNN)を用いた複雑な構造問題に対するベイジアン最適化を提案する。 BNNは構造化データを扱うための表現力と柔軟性を持ち、補助情報を利用する。 BNN はサンプリング効率と計算コストの両面で BO の代用モデルとして GP よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 10.638330155988145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization (BO) is a popular paradigm for global optimization of expensive black-box functions, but there are many domains where the function is not completely black-box. The data may have some known structure, e.g. symmetries, and the data generation process can yield useful intermediate or auxiliary information in addition to the value of the optimization objective. However, surrogate models traditionally employed in BO, such as Gaussian Processes (GPs), scale poorly with dataset size and struggle to incorporate known structure or auxiliary information. Instead, we propose performing BO on complex, structured problems by using Bayesian Neural Networks (BNNs), a class of scalable surrogate models that have the representation power and flexibility to handle structured data and exploit auxiliary information. We demonstrate BO on a number of realistic problems in physics and chemistry, including topology optimization of photonic crystal materials using convolutional neural networks, and chemical property optimization of molecules using graph neural networks. On these complex tasks, we show that BNNs often outperform GPs as surrogate models for BO in terms of both sampling efficiency and computational cost.
• Abstract（参考訳）: ベイズ最適化(BO)は高価なブラックボックス関数をグローバルに最適化するための一般的なパラダイムであるが、完全にブラックボックスではない領域が多数存在する。 データには、例えばいくつかの既知の構造があるかもしれない。 対称性及びデータ生成プロセスは、最適化目的の値に加えて有用な中間情報又は補助情報を得ることができる。 しかし、ガウス過程(GP)のような従来のBOで採用されていたサロゲートモデルは、データセットのサイズや既知の構造や補助情報を組み込むのに苦労する。 代わりに,構造化データを扱うための表現力と柔軟性を備えたスケーラブルなサロゲートモデルのクラスであるベイジアンニューラルネットワーク(bnns)を用いて,複雑で構造化された問題に対するboの実行を提案する。 BOは、畳み込みニューラルネットワークを用いたフォトニック結晶材料のトポロジー最適化や、グラフニューラルネットワークを用いた分子の化学的特性最適化など、物理学や化学における現実的な多くの問題について実証する。 これらの複雑なタスクにおいて、BNNはサンプリング効率と計算コストの両方の観点から、BOのサロゲートモデルとしてGPを上回ります。

関連論文リスト

• Bayesian Optimization for Hyperparameters Tuning in Neural Networks [0.0]
  ベイズ最適化 (Bayesian Optimization) は、連続的な入力と限られた評価予算を持つブラックボックス関数に適した微分自由大域最適化手法である。 本研究では,畳み込みニューラルネットワーク(CNN)の強化を目的としたニューラルネットワークのハイパーパラメータチューニングにおけるBOの適用について検討する。 実験結果から,BOは探索と利用のバランスを効果的に保ち,CNNアーキテクチャの最適設定に向けて急速に収束することが明らかとなった。 このアプローチは、ニューラルネットワークチューニングの自動化におけるBOの可能性を強調し、機械学習パイプラインの精度と計算効率の改善に寄与する。
  論文  参考訳（メタデータ） (2024-10-29T09:23:24Z)
• Reinforced In-Context Black-Box Optimization [64.25546325063272]
  RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。 RIBBOは、複数の動作アルゴリズムとタスクによって生成される最適化履歴を学習するために、表現的なシーケンスモデルを使用している。 提案手法の中心となるのは,テキストレグレット・ツー・ゴートークンによる最適化履歴の増大である。
  論文  参考訳（メタデータ） (2024-02-27T11:32:14Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• Dynamically configured physics-informed neural network in topology optimization applications [4.403140515138818]
  物理インフォームドニューラルネットワーク(PINN)は、前方問題を解決する際に大量のデータを生成するのを避けることができる。 動的に構成された PINN-based Topology Optimization (DCPINN-TO) 法を提案する。 変位予測と最適化結果の精度は,DCPINN-TO法が効率的かつ効率的であることを示している。
  論文  参考訳（メタデータ） (2023-12-12T05:35:30Z)
• Mixed-Integer Optimisation of Graph Neural Networks for Computer-Aided Molecular Design [4.593587844188084]
  ReLUニューラルネットワークは、混合整数線形プログラミング(MILP)の制約としてモデル化されている。 本稿では、ReLUグラフ畳み込みニューラルネットワークの定式化と、ReLUグラフSAGEモデルのMILP定式化を提案する。 これらの定式化により、グローバルな最適性に埋め込まれた訓練されたGNNで最適化問題を解くことができる。
  論文  参考訳（メタデータ） (2023-12-02T21:10:18Z)
• Physics Informed Piecewise Linear Neural Networks for Process Optimization [0.0]
  ニューラルネットワークモデルに埋め込まれた最適化問題に対して,物理情報を用いた線形ニューラルネットワークモデルの更新が提案されている。 すべてのケースにおいて、物理インフォームドトレーニングニューラルネットワークに基づく最適結果は、大域的最適性に近い。
  論文  参考訳（メタデータ） (2023-02-02T10:14:54Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data [86.8949732640035]
  追加データをクエリすることで制限をサイドステップするMBOアルゴリズムであるJUMBOを提案する。 GP-UCBに類似した条件下では, 応答が得られないことを示す。 実世界の2つの最適化問題に対する既存手法に対する性能改善を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-02T05:03:38Z)
• High-Dimensional Bayesian Optimization via Tree-Structured Additive Models [40.497123136157946]
  変数の重複部分集合を持つ低次元関数を合成して高次元目標関数をモデル化する一般化加法モデルを検討する。 私たちの目標は、必要な計算リソースを減らし、より高速なモデル学習を促進することです。 我々は,合成関数と実世界のデータセットに関する様々な実験を通して,本手法の有効性を実証し,議論する。
  論文  参考訳（メタデータ） (2020-12-24T03:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。