論文の概要: Learning Mixture-of-Experts for General-Purpose Black-Box Discrete Optimization
- arxiv url: http://arxiv.org/abs/2405.18884v1
- Date: Wed, 29 May 2024 08:41:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 17:59:30.312960
- Title: Learning Mixture-of-Experts for General-Purpose Black-Box Discrete Optimization
- Title（参考訳）: 汎用ブラックボックス離散最適化のためのミックス・オブ・エクササイズ学習
- Authors: Shengcai Liu, Zhiyuan Wang, Yew-Soon Ong, Xin Yao, Ke Tang,
- Abstract要約: この記事では、完全なデータ駆動学習最適化(L2O)アプローチを通じてトレーニングされた、新しい汎用ニューラルネットワークMEGOを紹介する。
MEGOは、トレーニング問題の解決からの経験に基づいて訓練された、エキスパートの混合物で構成されている。
MEGOは、高品質なソリューションを生成するために、関連する専門家モデルを積極的に選択する。
- 参考スコア（独自算出の注目度）: 45.243090644194695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-world applications involve various discrete optimization problems. Designing a specialized optimizer for each of these problems is challenging, typically requiring significant domain knowledge and human efforts. Hence, developing general-purpose optimizers as an off-the-shelf tool for a wide range of problems has been a long-standing research target. This article introduces MEGO, a novel general-purpose neural optimizer trained through a fully data-driven learning-to-optimize (L2O) approach. MEGO consists of a mixture-of-experts trained on experiences from solving training problems and can be viewed as a foundation model for optimization problems with binary decision variables. When presented with a problem to solve, MEGO actively selects relevant expert models to generate high-quality solutions. MEGO can be used as a standalone sample-efficient optimizer or in conjunction with existing search methods as an initial solution generator. The generality of MEGO is validated across six problem classes, including three classic problem classes and three problem classes arising from real-world applications in compilers, network analysis, and 3D reconstruction. Trained solely on classic problem classes, MEGO performs very well on all six problem classes, significantly surpassing widely used general-purpose optimizers in both solution quality and efficiency. In some cases, MEGO even surpasses specialized state-of-the-art optimizers. Additionally, MEGO provides a similarity measure between problems, yielding a new perspective for problem classification. In the pursuit of general-purpose optimizers through L2O, MEGO represents an initial yet significant step forward.
- Abstract（参考訳）: 実世界のアプリケーションは様々な個別の最適化問題を含む。
これらの問題のそれぞれに特別なオプティマイザを設計することは困難であり、通常、かなりのドメイン知識と人間の努力を必要とする。
したがって、幅広い問題に対するオフザシェルフツールとしての汎用オプティマイザの開発は、長年の研究目標となっている。
この記事では、完全なデータ駆動学習最適化(L2O)アプローチによってトレーニングされた、新しい汎用神経オプティマイザであるMEGOを紹介する。
MEGOは、トレーニング問題の解決から経験を学習したエキスパートの混合物で構成されており、バイナリ決定変数による最適化問題の基盤モデルと見なすことができる。
解決すべき問題を提示すると、MEGOは関連する専門家モデルを選択して高品質なソリューションを生成する。
MEGOは、スタンドアロンのサンプル効率最適化器として、あるいは既存の検索メソッドと組み合わせて、初期ソリューションジェネレータとして使用することができる。
MEGOの一般性は、3つの古典的な問題クラスと3つの問題クラスを含む6つの問題クラスで検証されている。
MEGOは古典的な問題クラスのみに訓練され、6つの問題クラスすべてで非常によく機能し、ソリューションの品質と効率の両面で広く使われている汎用オプティマイザをはるかに上回っている。
MEGOは特定の最先端のオプティマイザを超越する場合もある。
さらに、MEGOは問題間の類似度尺度を提供し、問題分類の新しい視点をもたらす。
L2Oを通した汎用オプティマイザの追求において、MEGOは最初の重要な一歩である。
関連論文リスト
- Autoformulation of Mathematical Optimization Models Using LLMs [50.030647274271516]
商用問題解決者のための自然言語記述から最適化モデルを作成するための自動アプローチを開発する。
本稿では,(1)問題依存仮説空間の定義,(2)不確実性の下でこの空間を効率的に探索すること,(3)定式化の正しさを評価すること,の3つの課題を同定する。
論文 参考訳（メタデータ） (2024-11-03T20:41:38Z) - LLMOPT: Learning to Define and Solve General Optimization Problems from Scratch [16.174567164068037]
最適化の一般化を促進するため,LLMOPTと呼ばれる統合学習ベースのフレームワークを提案する。
LLMOPTは、様々な最適化問題タイプを定義するための普遍モデルとして導入された5要素の定式化を構築している。
LLMOPTの最適化一般化能力を評価し,実世界の6つのデータセットを比較した。
論文 参考訳（メタデータ） (2024-10-17T04:37:37Z) - Learning Joint Models of Prediction and Optimization [56.04498536842065]
Predict-Then-Thenフレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。
本稿では,共同予測モデルを用いて観測可能特徴から最適解を直接学習する手法を提案する。
論文 参考訳（メタデータ） (2024-09-07T19:52:14Z) - Solving General Natural-Language-Description Optimization Problems with Large Language Models [34.50671063271608]
外部ソルバでLLMを増強するOPtLLMという新しいフレームワークを提案する。
OptLLMは自然言語でユーザクエリを受け付け、それらを数学的定式化やプログラミングコードに変換し、解決者を呼び出して結果を計算する。
OptLLMフレームワークのいくつかの機能は、2023年6月から試用されている。
論文 参考訳（メタデータ） (2024-07-09T07:11:10Z) - Deep-ELA: Deep Exploratory Landscape Analysis with Self-Supervised Pretrained Transformers for Single- and Multi-Objective Continuous Optimization Problems [0.5461938536945723]
本研究では,ディープラーニングとERAの機能を組み合わせたハイブリッドアプローチであるDeep-ELAを提案する。
提案するフレームワークは、単目的および多目的の連続最適化問題を分析するために、最初から利用できるか、あるいは様々なタスクに微調整することができる。
論文 参考訳（メタデータ） (2024-01-02T12:41:17Z) - A Study of Scalarisation Techniques for Multi-Objective QUBO Solving [0.0]
量子および量子に着想を得た最適化アルゴリズムは、学術ベンチマークや実世界の問題に適用した場合に有望な性能を示す。
しかし、QUBOソルバは単目的解法であり、複数の目的による問題の解法をより効率的にするためには、そのような多目的問題を単目的問題に変換する方法を決定する必要がある。
論文 参考訳（メタデータ） (2022-10-20T14:54:37Z) - Dynamic Multi-objective Ensemble of Acquisition Functions in Batch
Bayesian Optimization [1.1602089225841632]
獲得関数は最適化プロセスにおいて重要な役割を果たす。
3つの取得関数は、その現在のパフォーマンスと過去のパフォーマンスに基づいて、セットから動的に選択される。
進化的多目的アルゴリズムを用いて、そのようなMOPを最適化し、非支配的な解の集合を得ることができる。
論文 参考訳（メタデータ） (2022-06-22T14:09:18Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。
この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
論文 参考訳（メタデータ） (2021-03-23T20:46:20Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳（メタデータ） (2020-06-18T19:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。