論文の概要: META-SMGO-$\Delta$: similarity as a prior in black-box optimization
- arxiv url: http://arxiv.org/abs/2305.00438v1
- Date: Sun, 30 Apr 2023 09:41:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 15:15:23.503769
- Title: META-SMGO-$\Delta$: similarity as a prior in black-box optimization
- Title(参考訳): META-SMGO-$\Delta$: ブラックボックス最適化における事前の類似性
- Authors: Riccardo Busetto, Valentina Breschi, Simone Formentin
- Abstract要約: 本稿では,近年提案されているグローバル最適化手法SMGO-$Delta$にMETA学習理論を組み入れることを提案する。
本稿では,ベースラインアルゴリズムのMETA拡張の実用的メリットを示すとともに,その性能に理論的制約を与える。
- 参考スコア(独自算出の注目度): 1.282675419968047
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When solving global optimization problems in practice, one often ends up
repeatedly solving problems that are similar to each others. By providing a
rigorous definition of similarity, in this work we propose to incorporate the
META-learning rationale into SMGO-$\Delta$, a global optimization approach
recently proposed in the literature, to exploit priors obtained from similar
past experience to efficiently solve new (similar) problems. Through a
benchmark numerical example we show the practical benefits of our
META-extension of the baseline algorithm, while providing theoretical bounds on
its performance.
- Abstract(参考訳): 実際にグローバルな最適化問題を解決する場合、互いに類似した問題を何度も解決する。
本研究は、類似性の厳密な定義を提供することにより、最近文献で提唱されたグローバル最適化アプローチであるsmgo-$\delta$にメタラーニングの理論的根拠を取り入れ、類似した過去の経験から得られた先行事項を活用し、新しい(類似した)問題を効率的に解くことを提案する。
ベンチマークの数値的な例を通して、ベースラインアルゴリズムのMETA拡張の実用的利点を示し、その性能に関する理論的限界を提供する。
関連論文リスト
- Analyzing and Enhancing the Backward-Pass Convergence of Unrolled
Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。
本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。
Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文 参考訳(メタデータ) (2023-12-28T23:15:18Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-04T01:47:37Z) - Robust expected improvement for Bayesian optimization [1.8130068086063336]
本稿では,BO/GPフレームワークに敵対的手法を組み込む,堅牢な予測改善(REI)と呼ばれる代理モデルとアクティブラーニング手法を提案する。
ベンチマーク・シンセティック・エクササイズと、様々な複雑さの実際の問題について、いくつかの競合相手と比較し、比較する。
論文 参考訳(メタデータ) (2023-02-16T22:34:28Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳(メタデータ) (2023-01-28T01:50:42Z) - Optimizer Amalgamation [124.33523126363728]
私たちは、Amalgamationという新しい問題の研究を動機付けています。"Teacher"アマルガメーションのプールを、より強力な問題固有のパフォーマンスを持つ単一の"学生"にどのように組み合わせるべきなのでしょうか?
まず、勾配降下による解析のプールをアマルガメートする3つの異なるメカニズムを定義する。
また, プロセスの分散を低減するため, 目標を摂動させることでプロセスの安定化を図る。
論文 参考訳(メタデータ) (2022-03-12T16:07:57Z) - Teaching Networks to Solve Optimization Problems [13.803078209630444]
反復解法をトレーニング可能なパラメトリック集合関数に置き換えることを提案する。
このようなパラメトリックな(集合)関数を学習することで、様々な古典的最適化問題を解くことができることを示す。
論文 参考訳(メタデータ) (2022-02-08T19:13:13Z) - A unified surrogate-based scheme for black-box and preference-based
optimization [2.561649173827544]
ブラックボックスと嗜好に基づく最適化問題は密接に関連しており、同じアプローチのファミリを用いて解決可能であることを示す。
一般的なMSRSフレームワークを一般化した最適化手法である一般化されたメトリック応答面(gMRS)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-03T08:47:54Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-09-23T17:38:24Z) - Solving Inverse Problems by Joint Posterior Maximization with
Autoencoding Prior [0.0]
JPal Autoencoder (VAE) が先行する画像における不適切な逆問題解決の問題に対処する。
本手法は,提案した目的関数を満たすのに十分であることを示す。
結果は、より堅牢な見積もりを提供するアプローチの堅牢性も示しています。
論文 参考訳(メタデータ) (2021-03-02T11:18:34Z) - Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。
本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。
本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-04T00:26:56Z) - Efficient Consensus Model based on Proximal Gradient Method applied to
Convolutional Sparse Problems [2.335152769484957]
我々は、勾配近似(PG)アプローチに基づく効率的なコンセンサスアルゴリズムの理論解析を導出し、詳述する。
提案アルゴリズムは、異常検出タスクに対する別の特別な畳み込み問題にも適用できる。
論文 参考訳(メタデータ) (2020-11-19T20:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。