論文の概要: Batch Sequential Adaptive Designs for Global Optimization

• arxiv url: http://arxiv.org/abs/2010.10698v1
• Date: Wed, 21 Oct 2020 01:11:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 01:00:47.490582
• Title: Batch Sequential Adaptive Designs for Global Optimization
• Title（参考訳）: グローバル最適化のためのバッチ逐次適応設計
• Authors: Jianhui Ning and Yao Xiao and Zikang Xiong
• Abstract要約: 効率的なグローバル最適化(EGO)は、高価なブラックボックス最適化問題に対する最も一般的なSAD手法の1つである。 これらの複数点のEGO法では、重い計算とポイントのクラスタリングが障害となる。 本研究では, 改良されたサンプリング/インポータンス・リサンプリング(SIR)法を用いて, 「加速EGO」と呼ばれる新しいバッチSAD法を転送する。 提案したSADの効率は,次元が2～12の9つの古典的テスト関数によって検証される。
• 参考スコア（独自算出の注目度）: 5.825138898746968
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compared with the fixed-run designs, the sequential adaptive designs (SAD) are thought to be more efficient and effective. Efficient global optimization (EGO) is one of the most popular SAD methods for expensive black-box optimization problems. A well-recognized weakness of the original EGO in complex computer experiments is that it is serial, and hence the modern parallel computing techniques cannot be utilized to speed up the running of simulator experiments. For those multiple points EGO methods, the heavy computation and points clustering are the obstacles. In this work, a novel batch SAD method, named "accelerated EGO", is forwarded by using a refined sampling/importance resampling (SIR) method to search the points with large expected improvement (EI) values. The computation burden of the new method is much lighter, and the points clustering is also avoided. The efficiency of the proposed SAD is validated by nine classic test functions with dimension from 2 to 12. The empirical results show that the proposed algorithm indeed can parallelize original EGO, and gain much improvement compared against the other parallel EGO algorithm especially under high-dimensional case. Additionally, we also apply the new method to the hyper-parameter tuning of Support Vector Machine (SVM). Accelerated EGO obtains comparable cross validation accuracy with other methods and the CPU time can be reduced a lot due to the parallel computation and sampling method.
• Abstract（参考訳）: 固定走行設計と比較すると、逐次適応設計(SAD)はより効率的かつ効果的であると考えられる。 効率的なグローバル最適化(EGO)は、高価なブラックボックス最適化問題に対する最も一般的なSAD手法の1つである。 複雑なコンピュータ実験におけるオリジナルのEGOの弱点は、それがシリアルであるため、現代の並列コンピューティング技術はシミュレータ実験の実行を高速化するために利用できないことである。 これらの複数点のEGO法では、重い計算とポイントのクラスタリングが障害となる。 本研究では,「加速EGO(accelerated EGO)」と呼ばれる新しいバッチSAD法を,改良されたサンプリング/重要再サンプリング(SIR)法を用いて,期待される改善(EI)値の大きい点を探索する。 新しい手法の計算負担はより軽くなり、ポイントクラスタリングも避けられる。 提案したSADの効率は,次元が2～12の9つの古典的テスト関数によって検証される。 実験の結果,本アルゴリズムはオリジナルエゴの並列化が可能であり,特に高次元の場合において,他の並列エゴアルゴリズムと比較して大きな改善が得られた。 さらに,この新しい手法を,サポートベクターマシン(svm)のハイパーパラメータチューニングにも適用した。 高速化されたEGOは、他の手法と同等のクロスバリデーション精度を獲得し、並列計算とサンプリング法によりCPU時間を削減できる。

関連論文リスト

• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Adaptive Knowledge-based Multi-Objective Evolutionary Algorithm for Hybrid Flow Shop Scheduling Problems with Multiple Parallel Batch Processing Stages [5.851739146497829]
  本研究では,ユーザが任意の段階を並列バッチ処理段階として任意に設定できる問題モデルを一般化する。 Adaptive Knowledge-based Multi-Objective Evolutionary Algorithm (AMOEA/D) は、makepanとTotal Energy Consumptionの両方を同時に最適化するように設計されている。 実験の結果, AMOEA/D は PBHFSP の解法において比較アルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-09-27T08:05:56Z)
• Asymmetric Scalable Cross-modal Hashing [51.309905690367835]
  クロスモーダルハッシュは、大規模なマルチメディア検索問題を解決する方法として成功している。 これらの問題に対処する新しい非対称スケーラブルクロスモーダルハッシュ(ASCMH)を提案する。 我々のASCMHは、最先端のクロスモーダルハッシュ法よりも精度と効率の点で優れています。
  論文  参考訳（メタデータ） (2022-07-26T04:38:47Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Recommender System Expedited Quantum Control Optimization [0.0]
  量子制御最適化アルゴリズムは、最適な量子ゲートや効率的な量子状態転送を生成するために日常的に使用される。 効率的な最適化アルゴリズムの設計には2つの大きな課題がある。 本稿では,後者の課題に対処するため,機械学習手法,特にレコメンダシステム(RS)を提案する。
  論文  参考訳（メタデータ） (2022-01-29T10:25:41Z)
• ES-Based Jacobian Enables Faster Bilevel Optimization [53.675623215542515]
  バイレベル最適化(BO)は多くの現代の機械学習問題を解決する強力なツールとして生まれてきた。 既存の勾配法では、ヤコビアンあるいはヘッセンベクトル計算による二階微分近似が必要となる。 本稿では,進化戦略(ES)に基づく新しいBOアルゴリズムを提案し,BOの過勾配における応答ヤコビ行列を近似する。
  論文  参考訳（メタデータ） (2021-10-13T19:36:50Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Simple and Scalable Parallelized Bayesian Optimization [2.512827436728378]
  本稿では,非同期並列設定のためのシンプルでスケーラブルなBO法を提案する。 マルチ層パーセプトロンのベンチマーク関数とハイパーパラメータ最適化を用いて実験を行った。
  論文  参考訳（メタデータ） (2020-06-24T10:25:27Z)
• Differentiable Expected Hypervolume Improvement for Parallel Multi-Objective Bayesian Optimization [11.956059322407437]
  我々は、期待されるハイパー改善(EHVI)を用いた多目的BOのプログラミングモデルとハードウェアアクセラレーションの最近の進歩を活用する。 我々は、EHVIを並列な制約付き評価設定に拡張する取得関数であるq-Expected Hyper Improvement (qEHVI) の新規な定式化を導出する。 実験により,qEHVIは実運用シナリオの多くで計算可能であり,壁面時間のごく一部で最先端の多目的BOアルゴリズムより優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-09T06:57:47Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。