論文の概要: Landscape Surrogate: Learning Decision Losses for Mathematical
Optimization Under Partial Information
- arxiv url: http://arxiv.org/abs/2307.08964v1
- Date: Tue, 18 Jul 2023 04:29:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 16:33:17.107111
- Title: Landscape Surrogate: Learning Decision Losses for Mathematical
Optimization Under Partial Information
- Title（参考訳）: landscape surrogate: 部分的情報に基づく数学的最適化のための学習決定損失
- Authors: Arman Zharmagambetov, Brandon Amos, Aaron Ferber, Taoan Huang, Bistra
Dilkina, Yuandong Tian
- Abstract要約: 学習統合最適化の最近の研究は、最適化が部分的にのみ観察される場合や、専門家のチューニングなしに汎用性が不十分な環境では有望であることを示している。
本稿では,$fcirc mathbfg$の代替として,スムーズで学習可能なランドスケープサロゲートを提案する。
このサロゲートはニューラルネットワークによって学習可能で、$mathbfg$ソルバよりも高速に計算でき、トレーニング中に密度が高く滑らかな勾配を提供し、目に見えない最適化問題に一般化でき、交互最適化によって効率的に学習される。
- 参考スコア（独自算出の注目度）: 46.25620972146929
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent works in learning-integrated optimization have shown promise in
settings where the optimization problem is only partially observed or where
general-purpose optimizers perform poorly without expert tuning. By learning an
optimizer $\mathbf{g}$ to tackle these challenging problems with $f$ as the
objective, the optimization process can be substantially accelerated by
leveraging past experience. The optimizer can be trained with supervision from
known optimal solutions or implicitly by optimizing the compound function
$f\circ \mathbf{g}$. The implicit approach may not require optimal solutions as
labels and is capable of handling problem uncertainty; however, it is slow to
train and deploy due to frequent calls to optimizer $\mathbf{g}$ during both
training and testing. The training is further challenged by sparse gradients of
$\mathbf{g}$, especially for combinatorial solvers. To address these
challenges, we propose using a smooth and learnable Landscape Surrogate $M$ as
a replacement for $f\circ \mathbf{g}$. This surrogate, learnable by neural
networks, can be computed faster than the solver $\mathbf{g}$, provides dense
and smooth gradients during training, can generalize to unseen optimization
problems, and is efficiently learned via alternating optimization. We test our
approach on both synthetic problems, including shortest path and
multidimensional knapsack, and real-world problems such as portfolio
optimization, achieving comparable or superior objective values compared to
state-of-the-art baselines while reducing the number of calls to $\mathbf{g}$.
Notably, our approach outperforms existing methods for computationally
expensive high-dimensional problems.
- Abstract（参考訳）: 学習統合最適化に関する最近の研究は、最適化問題が部分的にしか観察されていない場合や、汎用最適化が専門的なチューニングなしではうまく機能しない場合において、期待が持たれている。
目的として$f$でこれらの困難な問題に取り組むために最適化器$\mathbf{g}$を学習することで、過去の経験を活用することで最適化プロセスを大幅に加速することができる。
最適化子は、既知の最適解の監督や、複合関数 $f\circ \mathbf{g}$ を最適化することで暗黙的に訓練することができる。
暗黙のアプローチはラベルとして最適なソリューションを必要としないため、問題の不確実性を扱うことができるが、トレーニングとテストの両方において、Optimator $\mathbf{g}$を頻繁に呼び出すため、トレーニングとデプロイが遅い。
この訓練はさらに$\mathbf{g}$のスパース勾配、特に組合せ解法に対して挑戦される。
これらの課題に対処するため、スムーズで学習可能なランドスケープサロゲート$M$を$f\circ \mathbf{g}$の代替として提案する。
このサロゲートはニューラルネットワークによって学習可能で、ソルバ$\mathbf{g}$より高速に計算でき、トレーニング中に密度が高く滑らかな勾配を提供し、目に見えない最適化問題に一般化でき、交互最適化によって効率的に学習される。
我々は,最短経路と多次元クナップサックを含む合成問題と,ポートフォリオ最適化のような実世界の問題,最先端のベースラインと比較して同等あるいは優れた目標値を達成すること,およびコール数を$\mathbf{g}$に削減すること,の両方法を試行する。
特に,計算コストの高い高次元問題に対する既存の手法を上回っている。
関連論文リスト
- Simulating, Fast and Slow: Learning Policies for Black-Box Optimization [12.925033436442925]
本稿では,学習方針を学習することで,類似のブラックボックス最適化問題のクラスを解く新しい手法を提案する。
ポリシーをトレーニングした後、ブラックボックスシミュレーターに関わる問題を下流で最適化するには、コストのかかるシミュレーターコールを最大90%削減する必要がある。
論文 参考訳（メタデータ） (2024-06-06T17:05:09Z) - Accelerated Gradient Algorithms with Adaptive Subspace Search for
Instance-Faster Optimization [6.896308995955336]
グラディエントベースのミニマックス最適アルゴリズムは、継続的最適化と機械学習の開発を促進する。
本稿では,勾配に基づくアルゴリズムの設計と解析を行う新しい手法を機械学習に直接応用する。
論文 参考訳（メタデータ） (2023-12-06T01:16:10Z) - Accelerating Cutting-Plane Algorithms via Reinforcement Learning
Surrogates [49.84541884653309]
凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。
多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。
そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
論文 参考訳（メタデータ） (2023-07-17T20:11:56Z) - Optimal Stochastic Non-smooth Non-convex Optimization through
Online-to-Non-convex Conversion [56.92236659731376]
本稿では,新しい解析手法を用いて,未知の非平滑な目的を最適化するアルゴリズムを提案する。
決定論的二階スムーズな目的のために、先進的な楽観的なオンライン学習技術を適用することで、新しい$O(delta0.5)All$が最適または最もよく知られた結果の回復を可能にする。
論文 参考訳（メタデータ） (2023-02-07T22:09:20Z) - Teaching Networks to Solve Optimization Problems [13.803078209630444]
反復解法をトレーニング可能なパラメトリック集合関数に置き換えることを提案する。
このようなパラメトリックな(集合)関数を学習することで、様々な古典的最適化問題を解くことができることを示す。
論文 参考訳（メタデータ） (2022-02-08T19:13:13Z) - BiAdam: Fast Adaptive Bilevel Optimization Methods [104.96004056928474]
バイレベル最適化は多くの応用のために機械学習への関心が高まっている。
制約付き最適化と制約なし最適化の両方に有用な分析フレームワークを提供する。
論文 参考訳（メタデータ） (2021-06-21T20:16:40Z) - Learning to Optimize Under Constraints with Unsupervised Deep Neural
Networks [0.0]
機械学習(ML)手法を提案し,汎用的制約付き連続最適化問題の解法を学習する。
本稿では,制約付き最適化問題をリアルタイムに解くための教師なしディープラーニング(DL)ソリューションを提案する。
論文 参考訳（メタデータ） (2021-01-04T02:58:37Z) - Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。
本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。
本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-04T00:26:56Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳（メタデータ） (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。