Fugu-MT 論文翻訳(概要): Simple and Scalable Parallelized Bayesian Optimization

論文の概要: Simple and Scalable Parallelized Bayesian Optimization

arxiv url: http://arxiv.org/abs/2006.13600v1
Date: Wed, 24 Jun 2020 10:25:27 GMT
ステータス: 処理完了
システム内更新日: 2022-11-17 09:24:01.248357
Title: Simple and Scalable Parallelized Bayesian Optimization
Title（参考訳）: 単純かつスケーラブルな並列ベイズ最適化
Authors: Masahiro Nomura
Abstract要約: 本稿では,非同期並列設定のためのシンプルでスケーラブルなBO法を提案する。マルチ層パーセプトロンのベンチマーク関数とハイパーパラメータ最適化を用いて実験を行った。
参考スコア（独自算出の注目度）: 2.512827436728378
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In recent years, leveraging parallel and distributed computational resources has become essential to solve problems of high computational cost. Bayesian optimization (BO) has shown attractive results in those expensive-to-evaluate problems such as hyperparameter optimization of machine learning algorithms. While many parallel BO methods have been developed to search efficiently utilizing these computational resources, these methods assumed synchronous settings or were not scalable. In this paper, we propose a simple and scalable BO method for asynchronous parallel settings. Experiments are carried out with a benchmark function and hyperparameter optimization of multi-layer perceptrons, which demonstrate the promising performance of the proposed method.
Abstract（参考訳）: 近年,並列・分散計算資源の活用は,計算コストの高い問題の解決に不可欠である。ベイズ最適化(bo)は、機械学習アルゴリズムのハイパーパラメータ最適化のような高価な評価問題において魅力的な結果を示している。これらの計算資源を効率的に探索するために多くの並列bo法が開発されているが、これらの手法は同期設定を仮定するか、スケーラブルでない。本稿では,非同期並列設定のための単純でスケーラブルなbo法を提案する。提案手法の有望な性能を示すマルチ層パーセプトロンのベンチマーク関数とハイパーパラメータ最適化を用いて実験を行った。

関連論文リスト

Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
論文参考訳（メタデータ） (2024-10-28T04:47:39Z)
Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文参考訳（メタデータ） (2023-12-28T23:15:18Z)
Parallel Bayesian Optimization Using Satisficing Thompson Sampling for Time-Sensitive Black-Box Optimization [0.0]
本稿では,Thompsonサンプリングに基づく並列BO手法を提案する。ターゲットを最適なソリューションから、学習しやすい満足できるソリューションにシフトします。リチウムイオン電池の高速充電設計問題に対して提案手法の有効性を実証した。
論文参考訳（メタデータ） (2023-10-19T07:03:51Z)
An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文参考訳（メタデータ） (2023-06-10T08:25:16Z)
New Paradigms for Exploiting Parallel Experiments in Bayesian Optimization [0.0]
本稿では,システムの構造を利用して設計空間を分割する並列BOパラダイムを提案する。具体的には,性能関数のレベルセットに従って設計空間を分割する手法を提案する。以上の結果から,本手法は検索時間を大幅に削減し,グローバルな(ローカルではなく)ソリューションを見つける可能性を高めることが示唆された。
論文参考訳（メタデータ） (2022-10-03T16:45:23Z)
Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。これらの問題に対する新規で簡単な最適化法を開発した。結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文参考訳（メタデータ） (2021-09-23T17:38:24Z)
Particle Swarm Optimization: Fundamental Study and its Application to Optimization and to Jetty Scheduling Problems [0.0]
従来の手法に関する進化的アルゴリズムの利点は、文献で大いに議論されている。粒子群はそのような利点を共有しているが、計算コストの低減と実装の容易さが要求されるため、進化的アルゴリズムよりも優れている。本論文は, それらのチューニングについて検討するものではなく, 従来の研究から汎用的な設定を抽出し, 様々な問題を最適化するために, 事実上同じアルゴリズムを用いている。
論文参考訳（メタデータ） (2021-01-25T02:06:30Z)
Batch Sequential Adaptive Designs for Global Optimization [5.825138898746968]
効率的なグローバル最適化(EGO)は、高価なブラックボックス最適化問題に対する最も一般的なSAD手法の1つである。これらの複数点のEGO法では、重い計算とポイントのクラスタリングが障害となる。本研究では, 改良されたサンプリング/インポータンス・リサンプリング(SIR)法を用いて, 「加速EGO」と呼ばれる新しいバッチSAD法を転送する。提案したSADの効率は,次元が2～12の9つの古典的テスト関数によって検証される。
論文参考訳（メタデータ） (2020-10-21T01:11:35Z)
Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文参考訳（メタデータ） (2020-10-15T18:09:48Z)
aphBO-2GP-3B: A budgeted asynchronous parallel multi-acquisition functions for constrained Bayesian optimization on high-performing computing architecture [4.738678765150249]
非同期制約付きバッチ並列ベイズ最適化法を提案する。この方法の利点は3倍である。 aphBO-2GP-3Bフレームワークは2つの高忠実度産業応用を用いて実証されている。
論文参考訳（メタデータ） (2020-03-20T18:02:27Z)
Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
論文参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。