論文の概要: A portfolio approach to massively parallel Bayesian optimization

• arxiv url: http://arxiv.org/abs/2110.09334v2
• Date: Mon, 3 Apr 2023 09:44:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 01:51:42.555227
• Title: A portfolio approach to massively parallel Bayesian optimization
• Title（参考訳）: 大規模並列ベイズ最適化へのポートフォリオアプローチ
• Authors: Mickael Binois (ACUMES, JAD), Nicholson Collier (ANL), Jonathan Ozik (ANL)
• Abstract要約: 最適化研究の実施時間を短縮する1つの方法は、一度に1度ではなく、設計を評価することである。 高価なブラックボックスに対しては、ベイズ最適化のバッチバージョンが提案されている。 これらの実験は、類似またはより良い性能を持つ既存手法に比べて、桁違いの速度向上を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One way to reduce the time of conducting optimization studies is to evaluate designs in parallel rather than just one-at-a-time. For expensive-to-evaluate black-boxes, batch versions of Bayesian optimization have been proposed. They work by building a surrogate model of the black-box to simultaneously select multiple designs via an infill criterion. Still, despite the increased availability of computing resources that enable large-scale parallelism, the strategies that work for selecting a few tens of parallel designs for evaluations become limiting due to the complexity of selecting more designs. It is even more crucial when the black-box is noisy, necessitating more evaluations as well as repeating experiments. Here we propose a scalable strategy that can keep up with massive batching natively, focused on the exploration/exploitation trade-off and a portfolio allocation. We compare the approach with related methods on noisy functions, for mono and multi-objective optimization tasks. These experiments show orders of magnitude speed improvements over existing methods with similar or better performance.
• Abstract（参考訳）: 最適化研究の実施時間を短縮する一つの方法は、一度に1回ではなく、並列に設計を評価することである。 高価な評価ブラックボックスでは、ベイズ最適化のバッチバージョンが提案されている。 彼らはブラックボックスのサロゲートモデルを構築し、インフィル基準によって複数のデザインを同時に選択する。 それでも、大規模並列性を実現するコンピューティングリソースの可用性は高まっているが、数桁の並列設計を選択して評価を行う戦略は、より多くの設計を選択する複雑さのために制限される。 ブラックボックスがうるさい場合にはさらに重要であり、より多くの評価と繰り返しの実験が必要である。 ここでは,大規模なバッチ処理をネイティブに処理し,探索/探索のトレードオフとポートフォリオ割り当てに着目したスケーラブルな戦略を提案する。 単目的および多目的最適化タスクにおいて,ノイズ関数に関する関連手法との比較を行った。 これらの実験は、類似またはより良い性能を持つ既存手法よりも桁違いの速度向上を示す。

関連論文リスト

• Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
  本稿では,MLLMのマルチモーダル推論能力を高めるための選好最適化プロセスを提案する。 我々は,マルチモーダルCoT性能を向上する,MPO(Mixed Preference Optimization)と呼ばれるシンプルで効果的な手法を開発した。 我々のモデルであるInternVL2-8B-MPOは、MathVista上で67.0の精度を実現し、InternVL2-8Bを8.7ポイント上回り、10倍のInternVL2-76Bに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2024-11-15T18:59:27Z)
• Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback [64.67540769692074]
  人間のフィードバックからの強化学習など、アライメント技術で微調整された大規模言語モデル(LLM)は、これまでで最も有能なAIシステムの開発に役立っている。 マージンマッチング選好最適化(MMPO)と呼ばれる手法を導入し、相対的な品質マージンを最適化し、LLMポリシーと報酬モデルを改善する。 人間とAIの両方のフィードバックデータによる実験によると、MMPOはMT-benchやRewardBenchといった一般的なベンチマークにおいて、ベースラインメソッドよりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:56:11Z)
• MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
  Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。 MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。 また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
  論文  参考訳（メタデータ） (2024-06-11T17:55:25Z)
• Large-Batch, Iteration-Efficient Neural Bayesian Design Optimization [37.339567743948955]
  本稿では,BOの限界に対処するための新しいベイズ最適化フレームワークを提案する。 我々の重要な貢献は、高度にスケーラブルでサンプルベースの取得機能であり、非支配的な目的のソートを実行する。 我々は,ベイズ型ニューラルネットワークサロゲートと組み合わせることで,最小限の反復数でデータ集約環境に有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-01T19:10:57Z)
• Transfer Learning for Bayesian Optimization: A Survey [29.229660973338145]
  ブラックボックス最適化は、このような高価なブラックボックス機能をモデル化し、最適化する強力なツールである。 BOコミュニティの研究者たちは、最適化プロセスの高速化にトランスファーラーニングの精神を取り入れることを提案する。
  論文  参考訳（メタデータ） (2023-02-12T14:37:25Z)
• Combining Multi-Fidelity Modelling and Asynchronous Batch Bayesian Optimization [10.29946890434873]
  本稿では,マルチ忠実度と非同期バッチ手法を組み合わせたアルゴリズムを提案する。 本研究では,アルゴリズムの動作を実証的に研究し,単一忠実度バッチ法や複数忠実度シーケンシャル法より優れていることを示す。 そこで本研究では,コインセルを用いた実験により,ポーチセルの電極材料を最適性能に設計し,バッテリ性能を近似する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-11T12:02:40Z)
• A Pareto-optimal compositional energy-based model for sampling and optimization of protein sequences [55.25331349436895]
  深層生成モデルは、生命科学における逆問題に対する一般的な機械学習ベースのアプローチとして登場した。 これらの問題は、データ分布の学習に加えて、興味のある複数の特性を満たす新しい設計をサンプリングする必要があることが多い。
  論文  参考訳（メタデータ） (2022-10-19T19:04:45Z)
• Optimizer Amalgamation [124.33523126363728]
  私たちは、Amalgamationという新しい問題の研究を動機付けています。"Teacher"アマルガメーションのプールを、より強力な問題固有のパフォーマンスを持つ単一の"学生"にどのように組み合わせるべきなのでしょうか? まず、勾配降下による解析のプールをアマルガメートする3つの異なるメカニズムを定義する。 また, プロセスの分散を低減するため, 目標を摂動させることでプロセスの安定化を図る。
  論文  参考訳（メタデータ） (2022-03-12T16:07:57Z)
• Batched Data-Driven Evolutionary Multi-Objective Optimization Based on Manifold Interpolation [6.560512252982714]
  バッチ化されたデータ駆動型進化的多目的最適化を実現するためのフレームワークを提案する。 オフザシェルフ進化的多目的最適化アルゴリズムがプラグイン方式で適用できるのは、非常に一般的である。 提案するフレームワークは, より高速な収束と各種PF形状に対する強いレジリエンスを特徴とする。
  論文  参考訳（メタデータ） (2021-09-12T23:54:26Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints [0.0]
  実世界の問題は、しばしば複数の制約の下で複数の目的を最適化する。 本稿では,ブラックボックス関数の同時最適化のための情報ベースバッチ手法であるPESMOCを紹介する。 繰り返して、PESMOCはブラックボックスを評価するための入力場所のバッチを選択する。
  論文  参考訳（メタデータ） (2020-04-01T17:37:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。